凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
IG主场采访事故，外国观众举牌...
LPL季后赛精彩赛事依旧在火热进行中，关注赛程的都清楚，接下来只有两场大战了，一场是IG和AL的败者...
俄罗斯方块公司投诉后，美国白宫...
IT之家 9 月 9 日消息，美国白宫官网近日上线的网页游戏“Build the Wall”因与《俄...
小钻石打磨产业硬实力（今日快评...
“把钻石‘磨’亮，靠的是技术；把产业建强，需要精准有效的服务、不断完善的产业生态和久久为功推进创新。...
科技保险护航新质生产力
当前，战略性新兴产业与未来产业布局不断优化，科技创新正在新质生产力培育中发挥越来越大的作用。和传统领...
6G智能手机，要来了
《经济参考报》9月8日刊发文章《深读“十五五”专项规划｜新一代通信网2030年全面建成 6G商用适时...