凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
193个硬核项目巅峰对决！十三...
深圳商报・读创客户端记者 刘娥 聚势湾区，逐梦宝安。近日，第十三届深圳宝安创新创业大赛行业决赛在湾区...
蚌埠市交通运输系统全力迎战台风...
今年第13号台风“白海豚”路径多变、风力强劲，给蚌埠市带来较大风雨影响。蚌埠市交通运输系统坚持“预”...
先看验机和质保，再谈价格：20...
买二手手机平台推荐，不能只看谁标价低，要看谁能在从下单到售后的全程让人心里有底。综合质检工序数、质保...
阿里云灵骏真武M890超节点实...
IT之家 8 月 12 日消息，阿里云今日宣布，灵骏真武 M890 超节点实例正式上线，首批在内蒙古...
600万人围观，Graph E...
AI应用风向标（公众号：ZhidxcomAI） 作者｜毕伟豪 编辑｜漠影 新瓶装旧酒？ 智东西8月1...