英伟达预告新版TensorRT-LLM，推理能力飙升 5 倍、支持 Chat API
IT之家
2023-11-16 11:15:17
0次
IT之家 11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。
IT之家今年 10 月报道，英伟达面向数据中心和 Windows PC，推出 Tensor RT-LLM 开源库。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。
英伟达在今天 Ignite 2023 大会上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增强 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。
TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成，开发者可以使用这个统一、易用的工具包，在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达还为此推出了抢先体验注册页面。
英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
用户可以在 8GB 显存以上的 GeForce RTX 30 系列和 40 系列 GPU 上运行，一些便携式 Windows 设备也能使用快速、准确的本地 LLM 功能。
相关内容
热门资讯
评测！微信大厅房卡充值，牛牛房...
pRCGViphone14系列整体改变较大，搭载的最新的A16芯片，目前手机主流市场依旧是以火龙为主...
游戏推荐斗牛房卡批发价，微信金...
04bjPE.延续了几代的刘海屏也将会被抛弃，采用了全新的“感叹号”屏。以前一直觉得iPhone产品...
评测！牛牛房卡专卖店，金花房卡...
fiPhone 14 Pro正面采用了居中感叹号形挖孔，内置True Depth摄像头模块，拥有更窄...
游戏介绍！新道游房卡官网，斗牛...
Rdg95T根据此次曝光的信息显示，iPhone 15、iPhone 15 Pro 和 iPhone...
评测！大厅房卡如何购买，12人...
ffUk7xUF.延续了几代的刘海屏也将会被抛弃，采用了全新的“感叹号”屏。以前一直觉得iPhone...
游戏推荐斗牛房卡批发价，牛牛房...
FZtM0c0提到OPPO，大家都是很熟悉的，使用过OPPO手机的用户都知道，OPPO手机外观非常大...
游戏指南！斗牛房卡购买联系方式...
LjnYBr5g根据目前爆料信息来看，iPhone 14系列中Pro版的两款提升较大，性能、外观、影...
游戏牛牛卖房卡多少钱一张，牛牛...
TEXM6从相机配置来看，这款OPPO Reno10新机采用了后置四摄的设计方案，分别由一英寸大底主...
游戏知识！金花牛牛房卡批发，战...
YyiPhone 14沿袭了iPhone 13设计风格，搭配了一块刘海屏风格的6.1英寸OLED屏，...
游戏推荐斗牛房卡批发价，金花房...
h此次iPhone 14系列共有四款机型，iPhone 14、iPhone 14 Max、iPhon...
游戏金花房卡充值，金花房卡软件...
ivNC并且，这款realme GT3采用了一块6.79英寸的三星新一代AMOLED屏幕，屏幕分辨率...
游戏知识！金花房卡全国代理，正...
8cl作为一名iPhone 13用户，我非常期待接下来要发布的iPhone 14 Max。说实话，作...
游戏测评！微信金花房卡购买，牛...
TZiPhone 14 Pro最新渲染图，由平面设计师Ian Zelbo制作，基于早些时候业内可信度...
游戏知识！正版房卡批发，微信房...
nVgFY有消息表示该机型的价格也会上涨，或许会成为苹果史上最贵的iphone。所以如果要等待该机型...
游戏测评！金花牛牛房卡批发，牛...
ZFVt4在核心硬件方面，据悉这款摩托罗拉X50mini采用了高通骁龙7+ Gen2移动平台，高通骁...
游戏知识！牛牛房卡哪家便宜，斗...
KN这其中，iPhone 14标准版的两款，即iPhone 14、iPhone 14Max依旧沿用刘...
游戏！金花房卡代理销售，如何找...
Czz在iPhone16Pro正式发布之前，当前苹果手机中，iPhone14ProMax依然是最值得...
游戏牛牛房卡怎么获得，新道游房...
5p9N74ro关于iPhone 14系列新机的其他配置信息，这里也简单介绍一下。iPhone 14...
游戏测评！牛牛房卡游戏平台加盟...
7cwu当然，行业在发展，相信在接下来realme手机会再接再厉，为行业带来更有竞争力的产品。网上曝...
游戏测评！牛牛房卡哪里有卖的，...
vNZ9uP3E苹果的秋季新品发布会已经定档于北京时间的9月13日。这次发布会上“官宣"的产品中，不...