凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
用8个人做出全球Top 2黑马...
大作公式要失效了？ 文/依光流 关于5月初Steam最大的独游黑马《遥遥西土》，我不得不分析一波。 ...
《魔域》2026年度重大活动火...
5GWAN手游网（www.5gwan.net）2026年05月08日:大家好，我是5GWAN小编莉莉...
《王者荣耀》5.8更新重磅汇总...
五五开黑节刚刚进入尾声，王者峡谷又迎来了新一轮重磅更新！5月8日，备受期待的大司命FMVP传说皮肤“...
原创 原...
作者：马赫环 从《GTA》系列到《塞尔达》系列，从“老当益壮”《原神》到“新晋红人”《异环》，毫无...
智能工厂优秀案例｜智能和高度柔...
新一代信息通信集群 智能和高度柔性的5G产品智能工厂 中兴通讯（南京）有限责任公司 （一） 企业简...