“ AI 工厂”将推动全栈重塑，英伟达开放 Llama3 NIM 容器供部署_资讯

创始人

2024-06-06 00:23:50

来源：IT之家

在目前正在进行的黄仁勋 2024 台北电脑展主题演讲上，黄仁勋介绍生成式人工智能将推动软件全栈重塑，展示其 NIM（Nvidia Inference Microservices）云原生微服务。

英伟达认为 "AI 工厂 " 将掀起一场新产业革命：以微软开创的软件行业为例，黄仁勋认为生成式人工智能将推动其全栈重塑。

为方便各种规模的企业部署 AI 服务，英伟达今年 3 月推出了 NIM（Nvidia Inference Microservices）云原生微服务。

NIM 是一套经过优化的云原生微服务，旨在缩短上市时间，并简化生成式 AI 模型在云、数据中心和 GPU 加速工作站的任何位置的部署。它使用行业标准 API，抽象化 AI 模型开发和生产包装的复杂性，从而扩展开发者池。

IT 之家注意到，官方制作了一个 llama3 大模型的 NIM 容器，现已上线英伟达官网，开放供全部用户下载并任意部署。

▲ 英伟达官网