凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
服务器排队到扩容，海克斯大乱斗...
编辑部的 LOL 群，半死不活几年了。 平时基本没人说话，就周末才能凑出两三个开黑的，就这还要在峡谷...
工信部：开源鸿蒙操作系统装载设...
1月21日，国新办举行新闻发布会，介绍2025年工业和信息化发展成效。工业和信息化部副部长张云明在会...
万像电子申请机器人避障方法专利...
国家知识产权局信息显示，西安万像电子科技有限公司申请一项名为“机器人的避障方法及装置、计算机设备和存...
未来产业 | 风口已转向，AI...
有投资人认为，OpenAI能找到的硬件形态，在国内应该也有团队探索过，答案可能就藏在创业公司的计划书...
均普智能涨1.10%，成交额3...
来源：新浪证券-红岸工作室 1月21日，均普智能涨1.10%，成交额3.13亿元，换手率2.15%，...