如今，试图部署生成式人工智能的公司面临着一个大问题。如果他们使用 OpenAI 这样的商业平台，就必须将数据发送到云端，这可能会违反合规要求，而且成本高昂。如果在本地下载并运行 Llama 2 这样的模型，他们需要了解如何对其进行微调、如何建立矢量数据库为其提供实时数据以及如何对其进行操作等诸多方面的知识。
VMware 与 Nvidia 的新合作伙伴关系旨在通过提供一个完全集成、随时可用的生成式人工智能平台来解决这些问题，企业可以在本地、主机托管设施或私有云中运行该平台。该平台将包括 Llama 2 或其他大型语言模型，以及向 LLM 提供最新公司信息的向量数据库。
该产品名为 "VMware Private AI Foundation with Nvidia"，将采用生成式人工智能软件和来自 Nvidia 的加速计算，它将基于 VMware Cloud Foundation 构建，并针对人工智能进行了优化。
对这样一个平台的需求是巨大的。根据 Lucidworks 本月发布的全球生成式人工智能基准研究报告，96% 参与人工智能决策流程的高管和经理正在积极优先考虑生成式人工智能投资，93% 的公司计划在未来一年增加人工智能支出。
但风险管理是一个严重问题。在毕马威最近的一项调查中，77% 的受访首席执行官表示，不确定且不断变化的监管环境严重影响了人工智能投资决策。毕马威报告称，在过去几个月中，优先考虑有效风险管理的比例全面上升，其中保护个人数据和隐私问题的优先级最高，占 63%，其次是网络安全，占 62%。
在企业内部或其他企业控制的环境中运行大型语言模型，可以大大减轻许多此类担忧。
"研究公司 Omdia 负责人工智能平台、分析和数据管理的首席分析师 Bradley Shimmin 说："对于那些被禁止使用公共托管模型的公司来说，即使这些模型托管在虚拟公共云中，在本地运行模型也能为它们打开许多大门。
他说，这对于金融等监管严格的行业或政府用例尤为重要。本地 LLM 还可以解决数据驻留问题。
"Shimmin说："能够拥有最先进的模型，并能完全在空气封闭系统中运行，这一点非常引人注目。"这一切都是为了将模型与数据结合起来。数据引力正在推动整个行业的发展。
如果本地运行的模型也是免费和开源的，那么公司就可以省下不少钱，不用为调用 OpenAI API 付费。"IBM咨询公司的全球人工智能和分析负责人马尼什-戈亚尔（Manish Goyal）说："延迟更低，成本更低，而且你对它有更多的控制权。
VMware 的新产品就是为了赶上这一浪潮。
在本周举行的 VMware Explore 2023 大会上，Nvidia 和 VMware 将展示企业如何使用它们的工具下载免费的开源 LLM，对其进行定制，并在 VMware 环境中部署生产级生成式人工智能。
问题是什么？VMware Private AI Foundation 要到明年年初才能推出。
VMware Private AI Foundation 如何工作
"VMware vSphere 和云平台产品管理副总裁 Paul Turner 说："我们相信，企业将把更多的生成式 AI 工作负载带到自己的数据中，而不是将数据转移到公共云服务中。
他说，企业可以采用像 Meta 的 Llama 2 这样的模型，将其放置在数据中心的数据旁边，对其进行优化和微调，并创建新的业务产品。"这有助于为企业打造业务差异化"。
然而，当公司试图自行完成这项工作时，很难将所有硬件和软件组件与所有必要的应用程序和工具包集成在一起。"特纳说："我们希望为客户化繁为简。
他说，VMware Private AI Foundation 是一个完整的堆栈。它从基础模型开始： Meta 的 Llama 2、Falcon 或 Nvidia 自己的 NeMo AI。他说，在现有模型的基础上进行构建比从头开始构建新的基础模型更有效。
在对模型进行微调后，它们需要一种无需重新训练就能获得最新信息的方法。这通常以向量数据库的形式出现。VMware 私有人工智能基金会内置了一个矢量数据库： 带有 PGVector 扩展的 PostgreSQL。
"特纳说："如果有快速流动的信息，矢量数据库就非常有用。"这是构建完整解决方案的一部分。"
此外，VMware 还在性能优化方面做了大量工作。
"特纳说："单个 GPU 无法满足模型的需求。"它们需要两个 GPU，甚至四个。有时，你需要扩展到 8 个 GPU 才能获得所需的性能，而我们可以将其扩展到 16 个 GPU。"
他补充说，存储也得到了优化。从 GPU 到存储有一条直接的路径，绕过了 CPU。戴尔、HPE 和联想已经签约成为合作伙伴，将提供堆栈的其他部分。
"特纳说："这将是VMware的单一SKU产品，但这些供应商也将提供预集成的即用型系统。我们给客户提供这样的选择。"
VMware Private AI Foundation 还将通过 VMware 的 OEM 渠道和分销商以及 2,000 多家 MSP 合作伙伴提供。
Nvidia企业计算副总裁Justin Boitano表示，Nvidia的人工智能产品也将通过广泛的合作伙伴体系提供。"我们在全球拥有20多家OEM和ODM厂商"。
VMware 的特纳表示，定价将基于 GPU。"我们希望与客户的价值挂钩"。不过，他拒绝透露更多细节。"我们还不准备分享这方面的定价。"
如果客户不想等到明年，参考架构已经可以使用。"特纳说："客户可以自己开发。"但完全集成的单一套件产品将于 2024 年初推出。"
微调 LLM
Nvidia 的 Boitano 认为，生成式人工智能是我们这一生中最具变革性的技术。
"这些模型令人惊叹，"他说。"它们为公司的业务系统提供了一个自然语言接口。其威力是惊人的。我们看到，在未来十年里，人工智能将被注入每一个企业。
问题在于，现成的模型只能了解它们所训练的数据。如果说它们了解某个特定公司的情况，那也只是它们接受训练时网络上的公开信息。
此外，像 ChatGPT 这样的基础模型在训练时无所不用其极。它们可以写诗、写代码，还能帮助计划膳食，但它们往往不擅长公司可能希望它们完成的特定任务。"博伊塔诺说："你必须根据你的私人业务信息定制模型。"这才是真正的商业价值所在。
这可能是公司的呼叫中心记录或 IT 票据。"他说："但你不会想把这些数据交给一个模型，让它把这些数据编码成公开的东西。
他说，这正是 Llama 2 等开源模型的用武之地。"你可以调用这些模型，并轻松地将它们与你的专有信息结合起来，这样模型就能细致入微地了解你的需求。"
Boitano 说，VMware Private AI Foundation 附带预打包模型、培训框架和 AI 工作台。"他说："这使得在笔记本电脑或个人电脑上开始工作变得非常容易，同时也为进入数据中心提供了便捷的途径，因为大部分计算和推理工作都将在数据中心进行。
在八个 GPU 上进行微调只需八个小时，就能创建一个 400 亿参数的模型。然后插入向量数据库，这样人工智能就可以访问整个企业的当前信息。"博伊塔诺说："我们认为，所有这些都能解决以前无法解决的问题。
博伊塔诺说，该平台将支持 2020 年首次推出的 A100 AI 芯片、2022 年发布的 H100 芯片以及明年上市的新型 L40S 芯片。
他说，与 A100 相比，L40S 的生成式人工智能推理性能将提高 1.2 倍，训练性能提高 1.7 倍。
"他说："很多合作伙伴都对 L40S 感到兴奋，因为它不仅适用于生成式人工智能，还可以进行虚拟桌面和渲染。
Meta 的 Llama 2 是什么？
VMware Private AI Foundation 可以运行多种生成式人工智能模型，但最近在企业部署中最常提到的是 Llama 2。
Meta 在 7 月份发布了 Llama 2。它可以免费用于商业用途，并且开源--算是吧。月活跃用户超过 7 亿的公司需要申请许可证。
如今，几乎所有在 HuggingFace Open LLM 排行榜上名列前茅的大型语言模型都是 Llama 2 的变体。在此之前，开源基础模型的可用性有限，许多都是基于 Llama 2 的前身 Llama，而且只授权给非商业使用。
"总部位于亚利桑那州钱德勒市的解决方案集成商 Insight 公司北美区首席技术官 Juan Orlandini 说："现在我们有了一个无需付费的商业可授权开源模型。"精灵已经从瓶子里出来了"。
他说，公司可以下载这些模型，通过在自己的数据上进行额外的训练对其进行微调，并通过嵌入式技术让它们访问实时数据。
Llama 2 有三种尺寸，企业可以根据硬件要求优化性能。"他说："实际上，你可以将其转化为可以在相对低功耗的设备上运行的东西。
全球咨询公司 AArete 技术解决方案部总经理约翰-凯里（John Carey）说，私有 LLM 开始成为企业的发展方向。
其最大的优势在于，它们允许企业将人工智能引入数据，而不是相反。
"Carey说："他们需要保护数据安全，需要确保数据具有访问控制和所有标准的数据治理功能，但他们希望获得类似ChatGPT的功能。"但人们对 ChatGPT 或 Bard 或其他功能确实存在顾虑，尤其是对于专有数据--或医疗保健数据或合同数据。"
VMware 并不是唯一支持 Llama 2 的平台。
"Omdia 的 Shimmin 说："AWS 有自己的 Titan 系列模型，但他们最近也与 Meta 合作，在其旁边托管 Llama 模型。
微软也宣布在Azure上支持Llama 2，它已经可以在Azure机器学习模型目录中找到。
"Shimmin说："鉴于谷歌构建其工具的方式，我认为他们也可以托管第三方模型并与之合作，包括封闭和开源模型。
IBM 计划在其 Watsonx AI 和数据平台中提供 Llama 2。
