自回归“统一”多模态 中国大模型登上《自然》
创始人
2026-01-30 21:20:28

1月30日电 (记者赵竹青)1月28日,智源多模态大模型成果“通过预测下一个词元进行多模态学习的多模态大模型”上线国际顶级学术期刊《自然》。这是我国科研机构主导的大模型成果首次在《自然》正刊发表。

2018年以来,GPT采用“预测下一个词元(Next-token prediction,NTP)”的自回归路线,实现了语言大模型重大突破,开启了生成式人工智能浪潮。“预测下一个词元”彻底改变了语言模型,促成了如ChatGPT等突破性成果,并引发了关于通用人工智能(AGI)早期迹象的讨论。然而,其在多模态学习中的潜力一直不甚明朗。多模态模型主要依赖对比学习、扩散模型等专门路线,自回归路线是否可以作为通用路线统一多模态?一直是未解之谜。

智源此次提出的Emu3模型,基于“预测下一个词元”的全新多模态模型,将图像、文本和视频统一离散化到同一个表示空间中,并从零开始,在多模态序列混合数据上联合训练一个单一的Transformer架构。这项成果表明,只采用自回归路线,就可以统一多模态学习,训练出优秀的原生多模态大模型。

《自然》编辑点评,Emu3仅基于“预测下一个词元”,实现了大规模文本、图像和视频的统一学习,其在生成与感知任务上的性能可与使用专门路线相当,这一成果对构建可扩展、统一的多模态智能系统具有重要意义。

相关内容

热门资讯

IG主场采访事故,外国观众举牌... LPL季后赛精彩赛事依旧在火热进行中,关注赛程的都清楚,接下来只有两场大战了,一场是IG和AL的败者...
俄罗斯方块公司投诉后,美国白宫... IT之家 9 月 9 日消息,美国白宫官网近日上线的网页游戏“Build the Wall”因与《俄...
小钻石打磨产业硬实力(今日快评... “把钻石‘磨’亮,靠的是技术;把产业建强,需要精准有效的服务、不断完善的产业生态和久久为功推进创新。...
科技保险护航新质生产力 当前,战略性新兴产业与未来产业布局不断优化,科技创新正在新质生产力培育中发挥越来越大的作用。和传统领...
6G智能手机,要来了 《经济参考报》9月8日刊发文章《深读“十五五”专项规划|新一代通信网2030年全面建成 6G商用适时...