观点网讯:9月3日,摩尔线程与趋境科技签署战略合作协议。双方以摩尔线程MTT S5000智算卡与MUSA软件平台为基础,融合趋境科技自研国产PD异构技术,共建国产化AI Token工厂。
双方将联合研发和推广以Token Pod(Token超节点)为载体的联合解决方案。目前相关方案已投入生产,并承接头部模型厂商官方业务的真实Token流量。
在该架构中,MTT S5000负责Prefill阶段的输入计算与KV Cache生成,与承担Decode阶段Token生成的高带宽GPU协同工作,Prefill由此解耦为可独立供给、独立计费、独立优化的算力资源池。
在同等生产服务标准下,由4至5台MTT S5000组成的Prefill资源池输入Token处理性价比超越国际先进算力方案,双方称方案整体性价比亦优于国际先进方案。
生产运行数据显示,该方案在国产头部大模型业务场景下,实现平均超过50 TPS的生成速度、超90%的KV Cache命中率、99.9%的稳定性,并提供生产级低首Token时延保障。
签约仪式上,摩尔线程创始人、董事长兼CEO张建中,趋境科技创始人兼CEO艾智远等出席;摩尔线程战略销售事业部副总经理费靖然、趋境科技Token事业部总经理刘显赫代表双方签署协议。
双方表示,未来将拓展在互联网企业、前沿基础模型公司、运营商等行业的合作,推动国产PD异构推理在更多生产级场景中应用。
依托共享KV Cache、流量感知配置、弹性扩展及故障隔离等能力,Token Pod可适配国产及国际主流硬件组合,形成可按业务规模配置的Token生产单元。
此前在7月19日举行的世界人工智能大会上,摩尔线程曾展示基于MTT S5000的PD异构分离方案,将高算力需求的Prefill计算池与高带宽的Decode生成池分池部署。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。