凭借比英伟达快10倍的AI芯片，初创公司Groq一夜爆火
知未科技
2024-02-21 17:46:08
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。不过，Groq并没有研发新模型，其神速的响应源于自研的语言处理单元LPU——一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一；单卡仅有230MB内存，2万美元一张。
相关内容
热门资讯
从“拿来”到“共创”：《真·三...
2026年6月24日，由光荣特库摩正版授权、盛天游戏研发的动作手游《真·三国无双 天下》正式上线。这...
《植物大战僵尸HD》iOS版今...
IT之家 6 月 24 日消息，经典塔防游戏《植物大战僵尸 HD》iOS 版在线服务今天起关闭，玩家...
《恋与深空》“第六人”敖尹，让...
相信所有人都没想到，《恋与深空》神秘“第六人”的公开，居然会释放出如此“强烈且持久”的能量。 6月2...
600人团队挑战都市二游成色如...
端午的广州处处都“长”满了人。在距离科韵路不远的美林M LIVE现场，亮黄色的围挡外也是里外三圈围满...
分析师称《GTA 6》没有实体...
IT之家 6 月 24 日消息，Rockstar Games 今天确认，《GTA 6》实体版将不再附...