凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
车间里的“开门红”，藏着东莞智...
岭南的春天，向来是从车间里最先感知的。 走进汇兴智造，自动化设备高速运转的轰鸣声扑面而来，工人们在装...
（大厅/房卡）“微信玩炸金花房...
您好！牛牛链接房卡可以通过以下几种方式购买：打开微信添加客服【55051770】，微信渠道：微信游戏...
（大厅/房卡）“金花房间卡购买...
您好！拼三张房卡链接可以通过以下几种方式购买：打开微信添加客服【33903369】， 微信渠道：微信...
（大厅/房卡）“拼三张房间卡购...
您好！炸金花链接房卡可以通过以下几种方式购买：打开微信添加客服【78200976】，微信渠道：微信游...
（大厅/房卡）“斗牛怎样创建房...
您好！炸金花链接房卡可以通过以下几种方式购买：打开微信添加客服【56001354】，微信渠道：微信游...