凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
【独立游戏通讯】2026年-#...
《诺娃独立游戏通讯》系列主要介绍一些近期由站内开发者创建以及值得开发者关注的内容，内容基本上来自 i...
悟空是阿里打造Agentic计...
文 | 窄播，作者｜李威 3月17日英伟达CEO黄仁勋在GTC大会上预测，到2027年，英伟达的订单...
Chrome加密绕过新发现：恶...
一种新型信息窃取恶意软件正在绕过Chrome的应用程序绑定加密（ABE），使用研究人员称在野外尚未观...
一场年会的科技密度有多高？博鳌...
如果用一个词 形容今年的博鳌亚洲论坛 会是——“日常” 机器人迎宾，是日常 机器狗巡检，是日常 扫码...
余霜宣布怀孕后Rita开播又被...
前言：在英雄联盟LPL赛区中，有很多的电竞主持人和解说员，其中还有一些人喜结良缘了，比如管泽元和余霜...