为了最大化效率，系统需要将工作负载分配给多个GPU，进行各种并行处理，如张量并行、管道并行、数据并行和专家并行。这样的分配是为了确保工作能尽快完成，因为在一个工厂中，吞吐量直接关系到收入、服务质量和可服务的客户数量。如今，我们身处一个数据中心吞吐量利用率至关重要的时代。

过去，虽然吞吐量被认为重要，但并非决定性的因素。然而，现在，从启动时间、运行时间、利用率、吞吐量到空闲时间等每一个参数都被精确测量，因为数据中心已成为真正的“工厂”。在这个工厂中，运作效率直接关联到公司的财务表现。

鉴于这种复杂性，我们深知大多数公司在部署人工智能时面临的挑战。因此，我们开发了一个集成化的人工智能容器解决方案，将人工智能封装在易于部署和管理的盒子中。这个盒子包含了庞大的软件集合，如CUDA、CUDACNN和TensorRT，以及Triton推理服务。它支持云原生环境，允许在Kubernetes（基于容器技术的分布式架构解决方案）环境中自动扩展，并提供管理服务，方便用户监控人工智能服务的运行状态。

更令人振奋的是，这个人工智能容器提供通用的、标准的API接口，使得用户可以直接与“盒子”进行交互。用户只需下载Nim，并在支持CUDA的计算机上运行，即可轻松部署和管理人工智能服务。如今，CUDA已无处不在，它支持各大云服务提供商，几乎所有计算机制造商都提供CUDA支持，甚至在数亿台PC中也能找到它的身影。

当你下载Nim时，即刻拥有一个人工智能助手，它能如与ChatGPT对话般流畅交流。现在，所有的软件都已精简并整合在一个容器中，原先繁琐的400个依赖项全部集中优化。我们对Nim进行了严格的测试，每个预训练模型都在我们的云端基础设施上得到了全面测试，包括Pascal、Ampere乃至最新的Hopper等不同版本的GPU。这些版本种类繁多，几乎覆盖了所有需求。

Nim的发明无疑是一项壮举，它是我最引以为傲的成就之一。如今，我们有能力构建大语言模型和各种预训练模型，这些模型涵盖了语言、视觉、图像等多个领域，还有针对特定行业如医疗保健和数字生物学的定制版本。

想要了解更多或试用这些版本，只需访问ai.nvidia.com。今天，我们在Hugging Face上发布了完全优化的Llama 3 Nim，你可以立即体验，甚至免费带走它。无论你选择哪个云平台，都能轻松运行它。当然，你也可以将这个容器下载到你的数据中心，自行托管，并为你的客户提供服务。

我前面提到，我们拥有覆盖不同领域的Nim版本，包括物理学、语义检索、视觉语言等，支持多种语言。这些微服务可以轻松集成到大型应用中，其中最具潜力的应用之一是客户服务代理。它几乎是每个行业的标配，代表了价值数万亿美元的全球客户服务市场。

值得一提的是，护士们作为客户服务的核心，在零售、快餐、金融服务、保险等行业中发挥着重要作用。如今，借助语言模型和人工智能技术，数千万的客户服务人员得到了显著的增强。这些增强工具的核心，正是你所看到的Nim。

有些被称为推理智能体（Reasoning Agents），它们被赋予任务后，能够明确目标并制定计划。有的擅长检索信息，有的精于搜索，还有的可能会使用如Coop这样的工具，或者需要学习在SAP上运行的特定语言如ABAP，甚至执行SQL查询。这些所谓的专家现在被组成一个高效协作的团队。

应用层也因此发生了变革：过去，应用程序是由指令编写的，而现在，它们则是通过组装人工智能团队来构建。虽然编写程序需要专业技能，但几乎每个人都知道如何分解问题并组建团队。因此，我坚信，未来的每家公司都会拥有一个庞大的Nim集合。你可以根据需要选择专家，将它们连接成一个团队。

更神奇的是，你甚至不需要弄清楚如何去连接它们。只需给代理分配一个任务，Nim会智能地决定如何分解任务并分配给最适合的专家。它们就像应用程序或团队的中央领导者，能够协调团队成员的工作，最终将结果呈现给你。

整个过程就像人类团队协作一样高效、灵活。这不仅仅是未来的趋势，而是即将在我们身边成为现实。这就是未来应用程序将要呈现的全新面貌。

PC将成为数字人主要载体