腾讯发布混元Turbo S:业界首次无损应用Mamba架构
创始人
2025-02-28 02:40:20

21世纪经济报道记者白杨 北京报道

2月27日,腾讯正式发布新一代基座模型——混元Turbo S。

据腾讯混元团队介绍,混元Turbo S在架构方面创新性地采用了Hybrid-Mamba-Transformer 融合模式,有效降低了传统Transformer结构的计算复杂度,并减少了KV-Cache缓存占用,从而实现训练和推理成本的下降。

Mamba架构是一种基于状态空间模型(State Space Model, SSM)的深度学习架构,通过引入选择性机制(Selective Mechanism),Mamba架构能够高效处理长序列数据。

而Hybrid-Mamba-Transformer是一种结合了Mamba架构和Transformer架构的混合模型,通过这种融合,使得它突破了传统纯 Transformer 结构大模型面临的长文训练和推理成本高的难题。

一方面,Hybrid-Mamba-Transformer架构可以发挥Mamba高效处理长序列的能力,另一方面,它也保留了Transformer擅于捕捉复杂上下文的优势。

据悉,混元Turbo S是工业界首次成功将Mamba架构无损地应用在超大型MoE模型上。

在业界通用的多个公开基准测试上,腾讯混元 Turbo S在知识、数学、推理等多个领域展现出对标DeepSeek V3、GPT 4o、Claude3.5等业界领先模型的效果表现。

腾讯混元团队表示,Turbo S将作为旗舰模型,成为腾讯混元系列衍生模型的核心基座,为推理、长文、代码等衍生模型提供基础能力。

值得一提的是,此前已在腾讯元宝上线的深度思考模型混元T1,就是基于Turbo S,再引入长思维链、检索增强和强化学习等技术而来。

目前,开发者和企业用户已经可以在腾讯云上通过API直接调用腾讯混元Turbo S,并且即日起一周内免费试用。

定价方面,Turbo S输入价格为0.8元/百万tokens,输出价格为2元/百万tokens,相比前代混元Turbo模型价格大幅下降。

对于C端用户,腾讯元宝则将逐步灰度上线混元Turbo S。

相关内容

热门资讯

AI数字化互联网平台专业的口碑... 在数字经济浪潮席卷全球的今天,AI数字化互联网平台已成为企业降本增效、实现智能化转型的核心引擎。选择...
6G+AI融合时点渐近:紧随英... 《科创板日报》3月2日讯在今日举行的2026年巴塞罗那MWC大会上,高通宣布与领先的行业合作伙伴建立...
长春大医伽玛刀申请服务升级方法... 国家知识产权局信息显示,长春大医伽玛刀科技有限公司申请一项名为“服务升级方法及系统”的专利,公开号C...
AI助力医院精准管理,首个公立... 大模型能5分钟快速生成一份医院运行管理报告,还能及时发现耗材变化并提醒……3月1日,在第四届北京人工...
安徽华电宿州取得脱硫浆液测量取... 国家知识产权局信息显示,安徽华电宿州发电有限公司取得一项名为“一种脱硫浆液测量取样装置”的专利,授权...