凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
国产类魂游戏《达巴：水痕之地》...
IT之家 9 月 4 日消息，在昨日的索尼 State of Play 发布会上，国产类魂动作冒险游...
惊现百元级云台相机！实探深圳电...
9月3日，2026IEAE深圳国际消费类电子及家用电器展（第八届）（以下简称”深圳电子展“）在深圳福...
从“坐着学”到“做中学”
从“坐着学”到“做中学”——新学期科学教育见闻 9月1日上午，安徽省合肥市第一中学滨湖校区西门广场成...
曝苹果首款折叠手机屏幕无折痕失...
【太平洋科技快讯】据快科技报道，距离苹果新品发布会仅剩不到一周，外界目光大量聚焦在首款折叠之上， 该...
AI“进厂”中小企业加速跑，第...
9月3日，广州广交会展馆D区，第21届中国国际中小企业博览会开幕。8.5万平方米展区内，超过2000...