在了解通用人工智能（GenAI）架构之前，做为架构师的我们，可以从现代数据湖参考架构中借鉴到通用的 10 项重要功能，包括每个功能的相关工具与库，这可以称为AI开发者工具箱的十件武器。 现代数据湖，有时也称为数据湖屋，其一半是数据湖，一半是基于开放表格式规范 (OTF) 的数据仓库。这两者都建立在现代级对象存储上。 接下来，让我们深入思考了组织如何构建 AI 数据基础设施，以支持所有 AI/ML 需求，而不仅仅是训练集、验证集和测试集的原始存储。换句话说，它应该包含训练大型语言模型、MLOps 工具、分布式训练等所需的计算能力。 本文尝试介绍如何使用现代数据湖参考架构来支持我们的 AI/ML需求。下图展示了现代数据湖参考架构，其中重点介绍了生成 AI 所需的功能。 来源：现代数据湖中的 AI/ML 现在我们先讨论一下构建现代数据湖所需的供应商和工具。在这 10 件武器列表中，每个都是支持生成式 AI 所需的一项重要能力。 1. 数据湖 企业数据湖建立在对象存储之上。它不是以前那种使用廉价和深度存档用例的老式基于设备的对象存储，而是现代、高性能、软件定义和 Kubernetes 原生对象存储，它们是现代 GenAI 堆栈的基石。 它们可以作为服务（AWS、Google Cloud Patform (GCP)、Microsoft Azure）或本地或混合/两者使用，例如 MinIO。 这些数据湖必须支持流式工作负载，必须具有高效的加密和纠错删码，需要将元数据与对象一起原子存储，并支持 Lambda 计算等技术。 有鉴于这些现代替代方案是云原生的，它们将与其他云原生技术的整个堆栈集成，从防火墙到可观察性再到用户和访问管理，做到开箱即用。 2.基于OTF的数据仓库 对象存储是基于 OTF-B （Apache Iceberg、Apache Hudi 和 Delta Lake）的数据仓库的底层存储解决方案。 将对象存储用于数据仓库可能听起来很奇怪，但以这种方式构建的数据仓库代表了下一代数据仓库。此技术得益于 Netflix、Uber 和 Databricks 编写的 OTF 规范，这使得在数据仓库中使用对象存储变得更加平滑无缝。 […]
View Article这些技术和创新进展，近日在 Gartner IT 研讨会/博览会上进行了讨论。包括如下重大主题。 第一、AI增强开发 人工智能技术的结合，有望改变软件开发的未来。 这些工具不仅可以自动化单调的操作，还可以提供见解和建议，提高开发过程的效率。 例如，人工智能可以提供代码建议优化，实时发现缺陷，甚至预测用户行为以改善用户体验。 第二、民主化生成式人工智能 这种民主化很大程度上归功于先进的大语言模型、云计算和开源平台的融合。 企业无论规模大小，都可以利用这些模型在产品设计、内容创作甚至新药物发现等领域进行创新。 第三、持续威胁暴露管理 在网络危险不断发展的今天，采取主动的安全措施至关重要。 持续威胁暴露管理需要实时监控、评估和响应威胁，确保企业始终领先一步。 这不仅可以保护敏感信息，还可以增强客户和利益相关者之间的信心。 第四、AI信任、风险和安全管理 随着人工智能系统成为业务运营不可或缺的一部分，确保其可信度与安全将至关重要。 这涉及了解人工智能的决策过程、确保数据隐私以及减少偏见。 优先考虑这些要素的公司不仅会做出更好的决策，而且还能保持其在市场上的声誉。 第五、平台型工程 平台工程的兴起凸显了可扩展且高效的开发平台的必要性。 这些平台将适应企业的具体需求，简化开发流程、促进协作并加速产品发布。 第六、机器型客户 物联网 (IoT) 革命催生了数十亿台可充当客户端的互联设备。 这些“机器型客户”可以自主购买、请求服务或提供反馈。企业需要调整策略来迎合这一依赖数据和算法的新客户群。 第七、行业云平台 针对某些行业的定制云解决方案将会在2024年变得越来越流行。 这些平台包括行业特定的工具和数据，使组织能够更快地创新、节省成本并更有效地满足监管要求。 第八、智能应用 下一代应用程序不仅会执行命令，还会从用户行为、环境因素和持续反馈中学习。 这些应用程序将提供个性化体验、自动化日常任务，甚至预测用户需求，从而提高生产力和用户满意度。 第九、增强连接的劳动力 未来的劳动力将是人类和智能技术协作的混合体。 增强现实、人工智能助手和增强的协作技术将为员工提供支持，缩短学习曲线并提高生产力。 拥抱这一趋势的公司将在人才获取和保留方面获得竞争优势。 第十、可持续技术 随着全球对可持续发展的重视日益增强，技术领导者对其对环境保护的贡献负有责任。从绿色数据中心到节能算法，重点将转向创造不仅创新而且节约的技术。 结论 IT 与数字化环境将在未来几年经历一场变革。这些趋势强调企业需要灵活、具有前瞻性，并乐于迎接变革。 拥抱这些趋势的组织不仅可以保持领先地位，而且可以在其特定领域产生有意义的影响。 Keyword: Pika
View Article根据研究公司 Gartner 的 2024 年十大趋势，人工智能 (AI) 将在明年和短期内保持在科技行业的主导地位。 10月17日，Gartner发布2024年企业机构需要探索的十大战略技术趋势。Gartner研究副总裁Bart Willemsen表示：“由于技术变革以及社会经济方面的不确定性，我们必须大胆采取行动并从战略上提高弹性，而不是采取临时措施。IT领导者的地位特殊，他们可以制定通过技术投资帮助企业在这些不确定性和压力下保持成功的战略规划。” Gartner杰出研究副总裁兼研究团队负责人Chris Howard表示：“IT领导者和其他高管必须评估战略技术趋势的影响与益处，但由于技术创新的速度日益加快，这并非易事。例如生成式AI和其他类型的AI虽然带来了新的机遇并推动了若干趋势的发展，但要想通过长期使用AI获得业务价值，还需要采取严谨的方法广泛采用AI并注意风险。”2024年重要战略趋势包括如下：全民化的生成式AI（Democratized Generative AI）经过大规模预训练的模型、云计算与开源的融合正在推动生成式人工智能（生成式AI）的全民化，使这些模型能够被全球工作者所用。到 2026 年，Gartner预测超过80%的企业将使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，而在2023年初这一比例不到5%。生成式AI应用可以让企业用户访问并使用大量内部和外部信息源，这意味着生成式AI的快速采用将极大地促进企业知识和技能的全民化。大型语言模型使企业能够通过丰富的语义理解，以对话的形式将员工与知识相连接。AI信任、风险和安全管理（AI Trust, Risk and Security Management）AI的全民化使得对AI信任、风险和安全管理（TRiSM）的需求变得更加迫切和明确。在没有护栏的情况下，AI模型可能会迅速产生脱离控制的多重负面效应，抵消AI所带来的一切正面绩效和社会收益。AI TRiSM提供用于模型运维（ModelOps）、主动数据保护、AI特定安全、模型监控（包括对数据漂移、模型漂移和/或意外结果的监控）以及第三方模型和应用输入与输出风险控制的工具。Gartner预测，到2026年，采用AI TRiSM控制措施的企业将通过筛除多达80%的错误和非法信息来提高决策的准确性。AI增强开发（AI-Augmented Development）AI增强开发指使用生成式AI、机器学习等AI技术协助软件工程师进行应用设计、编码和测试。AI辅助软件工程提高了开发人员的生产力，使开发团队能够满足业务运营对软件日益增长的需求。这些融入了AI的开发工具能够减少软件工程师编写代码的时间，使他们有更多的时间开展更具战略意义的活动，比如设计和组合具有吸引力的业务应用等。智能应用（Intelligent Applications）Gartner将智能应用中的“智能”定义为自主做出适当响应的习得性适应能力。在许多用例中，这种智能被用于更好地增强工作或提高工作的自动化程度。作为一种基础能力，应用中的智能包含各种基于AI的服务，如机器学习、向量存储和连接数据等。因此，智能应用能够提供不断适应用户的体验。目前已存在对智能应用的明确需求。在2023年Gartner首席执行官（CEO）和业务高管调查中，26%的CEO认为对企业机构破坏力最大的风险是人才短缺。吸引和留住人才是CEO在人力资源方面的首要任务，而AI被认为是未来三年对他们所在行业影响最大的技术。增强型互联员工队伍（Augmented-Connected Workforce）增强型互联员工队伍（ACWF）是一种优化员工价值的战略。加速并扩大人才规模的需求推动了ACWF的发展趋势。ACWF使用智能应用和员工队伍分析提供助力员工队伍体验、福祉和自身技能发展的日常环境与指导。同时，ACWF还能为关键的利益相关方带来业务成果和积极影响。到 2027年底，25%的首席信息官（CIO）将使用增强型互联员工队伍计划将关键岗位的胜任时间缩短50%。持续威胁暴露管理（Continuous Threat Exposure Management）持续威胁暴露管理（CTEM）是一种使企业机构能够持续而统一地评估企业数字与物理资产可访问性、暴露情况和可利用性的务实系统性方法。根据威胁载体或业务项目（而非基础设施组件）调整CTEM评估和修复范围不仅能发现漏洞，还能发现无法修补的威胁。Gartner 预测，到 2026 年，根据 CTEM 计划确定安全投资优先级别的企业机构将减少三分之二的漏洞。机器客户（Machine Customers）机器客户（也被称为“客户机器人”）是一种可以自主协商并购买商品和服务以换取报酬的非人类经济行为体。到2028年，将有150亿台联网产品具备成为客户的潜力，这一数字还将在之后的几年增加数十亿。到 2030 年，该增长趋势将带来数万亿美元的收入，其重要性最终将超过数字商务的出现。在战略上应考虑为这些算法和设备提供便利乃至创造新型客户机器人的机会等。可持续技术（Sustainable Technology）可持续技术是一个数字解决方案框架，其用途是实现能够支持长期生态平衡与人权的环境、社会和治理（ESG）成果。AI、加密货币、物联网、云计算等技术的使用正在引发人们对相关能源消耗与环境影响的关注。因此，提高使用IT时的效率、循环性与可持续性变得更加重要。事实上，Gartner 预测，到 2027 年，25% CIO的个人薪酬将与他们对可持续技术的影响挂钩。平台工程（Platform Engineering）平台工程是构建和运营自助式内部开发平台的一门学科。每个平台都是一个由专门的产品团队创建和维护并通过与工具和流程对接来支持用户需求的层。平台工程的目标是优化生产力和用户体验并加快业务价值的实现。行业云平台（Industry Cloud Platforms）Gartner 预测，到2027年，将有超过70%的企业使用行业云平台（ICP）加速其业务计划，而2023年的这一比例还不到15%。ICP通过可组合功能将底层 SaaS、PaaS 和 IaaS 服务整合成全套产品，推动与行业相关的业务成果。这些功能通常包括行业数据编织、打包业务功能库、组合工具和其他平台创新功能。ICP是专为特定行业量身定制的云方案，可进一步满足企业机构的需求。 Gartner 表示：“每个平台都是一个层，由专门的产品团队创建和维护，旨在通过与工具和流程交互来支持用户的需求。” “平台工程的目标是优化生产力、用户体验并加速商业价值的交付。” Keyword: Kling
View Article当前，数据中心的 AI 工作负载已不堪重负，从各个层面都需要个人电脑加入其中，以减轻大型 GPU 安装的压力。“AI PC”是一个流行词，它巧妙地描述了未来几年将进入市场的新型PC。以前，个人电脑只能运行可执行文件来执行逻辑任务，而现在，电脑内部将有一个小型人工智能大脑，可以推理和做出决策、回答问题、创建程序或改善用户体验。而开发者编写的软件，将让这些大脑给出最佳答案。软件越来越大，越来越好，用户可以在电脑上加载大型语言模型，无需互联网连接即可运行人工智能。有的个人PC已经配备了人工智能芯片，但它们大多是没用的，因为它们不符合微软对人工智能个人电脑资格规定的最低要求。大语言模型工并没有针对人工智能个人电脑的低功耗进行微调，但这种情况正在改变。黄仁勋还说道：“人工智能不是芯片问题……而是系统问题。”微软的 AI PC 概念微软在刚刚闭幕的 Build 大会上公布了 Copilot+ PC 的概念，也就是AI PC。从理论上讲，这些 PC 是硬件和软件共同设计的早期实例，可以在 Windows PC 下运行 AI。这家世界级的软件公司正在为 AI PC 中的硬件定下基调，其中主板包括可提供至少 45 TOPS（每秒万亿次运算/每秒一兆次操作）的NPU（神经处理单元）芯片+16G内存+SSD存储。首批符合条件的AI PC是搭载高通NPU芯片的Copilot+ PC，是在Build开发者大会期间发布的。以下是微软CEO萨蒂亚·纳德拉的讲话：“我们推出 Windows Copilot Runtime ，是为了让 Windows 成为你构建 AI 应用程序的最佳平台。正像 Win32 之于图形用户界面，我们相信 Windows Copilot Runtime 于 AI 也同样如此，”微软已经在 Windows 中配备了具有 Copilot 功能的人工智能，即在 PC 中输入的查询会被重定向到数据中心，然后数据中心会将答案输出到桌面。微软看到了将此类低优先级任务将转移至 PC 的机会，这可以节省带宽并释放数据中心的 GPU。例如在 Bing 搜索中的 […]
View ArticleGitHub Copilot Enterprise 正从测试版过渡到正式发布版。Copilot Enterprise 提供了新功能，包括根据组织的最佳实践和文档，使用它们对 Copilot 进行训练的能力。 目前，Copilot 已经集成了 Bing 搜索，可以在聊天会话中提供最新上下文。 GitHub的产品副总裁Mario Rodriguez，负责监督Copilot。Rodriguez 这样描述Copilot： 第一个功能意味着组织可以将自己的自定义最佳实践和文档添加到Copilot中，可以更好地支持开发者， Rodriguez说：“他们告诉我们的一件事是：看，GitHub上，我有所有这些最佳实践，我希望我们的开发者遵循这些最佳实践，我有时在文档中，有时在很多地方都有，但它们没有被充分使用。我们能不能让 Copilot 能够访问这些最佳实践集，这样开发者可以询问 Copilot，然后 Copilot 会精确地回答他们。” Rodriguez 解释说，这个被称为“知识库”的功能本质上是GitHub可以使用组织机构存储库中的文档或Markdown文件为企业制作的大模型的定制化。他补充说，这是一个技术演进过程，需要GitHub进行实际的定制。 在内部，GitHub 已经使用知识库将其工程、安全和可访问性最佳实践灌输到 Copilot 中。比如，它可能能够告诉开发者，团队中如何部署Kubernetes集群。 “这三个存储库有同一套最佳实践，我们希望我们的开发者遵循并理解我们做事的原因。它确实是根据你的组织的方式定制的，这本身对这些企业来说也是巨大的决心与投入。” Copilot 已经可以为开发者生成 GitHub 拉取请求摘要，并且分析拉取请求 （PR） 的差异。 相关链接： https://www.linkedin.com/in/mariorodriguez3/ Keyword: Claude
View Article本教程适用版本：WPS 365 点击免费使用 本教程适用版本：WPS Office 2019 PC版 点此使用 Excel函数应用广泛，其中自然也包括日期的加减计算。下面给大家介绍一种不用看日历也能快速加减日期的方法。 已知起始日期和截止日期，求相差天数。 第一步：选中日期，右键选择【设置单元格格式】，在弹出的【单元格格式】对话框中将数字格式设置为【日期】，点击【确定】。如下图所示： >>免费升级到企业版，赠超大存储空间 第二步：将光标定位在计算结果单元格上，输入公式【=DATEDIF】，按照公式格式依次输入(A2，B2，“d”),输入完毕按回车键即可得到两个日期之间相差的天数。如下图所示： >>免费升级到企业版，赠超大存储空间 已知开始日期（截止日期）和天数，求截止日期（开始日期）： 第一步：将光标定位在需要计算结果的单元格上，右键选择【设置单元格格式】。如下图所示： >>免费升级到企业版，赠超大存储空间 第二步：在弹出的【单元格格式】对话框中将数字格式设置为【日期】，点击【确定】。如下图所示： >>免费升级到企业版，赠超大存储空间 第三步：在单元格中输入【=G2+H2】，即日期加上天数。输入完毕按回车键。如下图所示： 本教程适用版本：WPS Office 2019 PC版 点此使用 Keyword: wps官网下载
View Article
Recent Comments