大模型还能怎么创新？复旦教授邱锡鹏：需在新的架构、多模态等方面多做研究
搜狐科技《思想大爆炸——对话科学家》栏目第31期，对话复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏。
嘉宾简介：
邱锡鹏，复旦大学计算机科学技术学院教授，中国计算机学会会员，国内第一个对话式语言大模型“MOSS”负责人，曾获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖。他的主要研究方向包括自然语言处理与基础模型，在 ACL等知名会议上发表 100 余篇学术论文，被引用1.5万余次。
划重点：
1.现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究。
2.我本身就比较喜欢自由的研究氛围。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。
3.大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的。
4.想要实现通用人工智能，需提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事。
出品｜搜狐科技
作者｜郑松毅
“现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究。”复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏，在2023中国计算机大会(CNCC)正式开幕前对搜狐科技表示。
“MOSS”是国内第一个对话式语言大模型。谈及做大模型的初心，邱锡鹏说道，大模型和人工智能方面的研究是课题组一直在做的事，ChatGPT发布之前就已经在做，只不过那时做的属于底层的基础模型，是不能直接和人进行交互的。
他认为ChatGPT的确可以被认为是革命性的，以对话的形式让模型能够和人类直接交互，同时当模型足够大时，通用能力非常强。
1997年，邱锡鹏考入复旦大学攻读学士学位，他表示，自己对人工智能的热忱就是在读本科时听完导师的报告，慢慢了解这个领域后被激发出来的，直到现在都保持非常高的热情。2001年毕业后，邱锡鹏继续在复旦大学攻读博士学位，直到2006年毕业后加入到复旦大学计算机科学技术学院，开始了自己的科研之路。
可以说，邱锡鹏将自己学业和工作的记忆都完整保存在了复旦大学。
当好奇为何邱锡鹏对复旦大学如此偏爱时，他没有过多考虑地回答道，“我本身就比较喜欢自由的研究氛围。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。”
邱锡鹏坦言，现在国内的大模型和OpenAI的相比还是有一些差距的，一方面要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越。
大模型的训练成本一直被认为是天文数字，随着大模型规模的发展，“新手”迈入大模型赛道的门槛也越来越高。
他表示，“现在大模型的训练成本相较于最初是低了些的，和训练效率有关。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。”
现在大模型赛道究竟还适合新手入局吗？
邱锡鹏认为，大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的。
“但预训练这块确实是投入的时间长，投入的资金也大，回报比较慢，我觉得是不太适合新人去做了，除非你能有更好的想法。因为估计你要花很长的时间，才能摸清其中的门道。”
以下为对话实录（经整理编辑）
搜狐科技：大模型发展热潮转眼间已是半年，对比开始阶段，您觉得现阶段大模型的发展方向和研发方式发生了哪些变化？
邱锡鹏：变化肯定是有的，比如往多模态和更大的模型方向去发展，还有一个就是所谓的“超级对齐”，以及开源的社区越来越多。
实话实说现在我们这些模型和OpenAI的相比还是有一些差距的，一方面我们要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越。
从学术角度来说，要有创新性。现在大模型整个架构都比较雷同，未来大模型想要发展还需在新的架构、幻觉问题、多模态等方面多做研究。
搜狐科技：您是如何理解刚才提到的“超级对齐”的？
邱锡鹏：之前都是人给机器打分，但其实是有问题存在的。比如涉及到价值观的话，每个人之间都是有差异性的，不同国家和地区的人都不太一样。
现在就是在寻找一种更公平的评分机制，比如不仅利用人的反馈，还用到环境的反馈，或者说写一段代码代替人给机器打分。
搜狐科技：很多人还习惯于用参数量级评判一个模型是否为“大模型”，这种判断方式科学吗？参数量级是否还是决定大模型能力的必要条件？
邱锡鹏：参数量大并不是唯一判断条件，训练数据量也要大，使得模型具备类似思维涌现的能力。
搜狐科技：现在大模型的训练成本依旧很高吗？日前媒体报道OpenAI 的CEO奥特曼前不久还去找中东土豪融资，请问大模型训练成本未来能慢慢降下来吗？
邱锡鹏：我是觉得训练成本相较于初期是低了些的，和训练效率有关。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。
搜狐科技：MOSS大模型商业化落地进展怎么样了，解决了哪些问题，是否已进入盈利阶段？
邱锡鹏：我们现在是开源，下载量非常多，也听说在不同的行业有具体的应用。但我们是高校团队，还是以研究为主，并没有太多深入各个行业去了解。
解决行业问题的话大致分为两个方面，第一类是直接处理文本数据的，比如医疗、金融等；另一类是充当中间控制台角色，比如在智能制造行业，用户把需求说给语言模型，再由语言模型控制机械动作。
搜狐科技：您将会在CNCC上讨论大模型的研究进展和产业应用展望，从MOSS作为最早国内对话式语言大模型来看，感觉您是一位具有前瞻性发展眼光的人。您也曾表示更看重大模型下一阶段的发展，即实现“通用人工智能”。那么您觉得大模型下一阶段的发展机会点在于什么？
邱锡鹏：现在很多智能，比如常见的语音识别、人脸识别等等都是专用的，语音识别只能做语音识别，不能做人脸识别。但“通用人工智能”就像人类的大脑一样，能处理所有事，这也是AI领域的终极目标。
对于通用人工智能来说，如何拓展出更多的模态是现在正在研究的。GPT虽然展示出很强大的通用性，但它还是停留在语言层面。下一步如果想往通用人工智能发展，就要让它能够接入图片、视频、音频等各种模态的数据，并让它能够理解和处理，包括生成。
同时要让大模型学会使用工具，就像人一样，一个人本身的能力可能并不强，但人能够使用各种工具。对于大模型而言，可以通过接入插件来实现。
第三就是要提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事。
搜狐科技：您将会在CNCC上讨论让大语言模型具有内生的语音对话能力，能请您谈下具体这是怎样一种能力吗？
邱锡鹏：这是我们的工作之一，因为我们觉得现在的大模型如果想直接和人类用语音进行交流的话，前面必须先做一个语音识别，然后回复出来的文字还需要做一个文字转语音的工作，相当于多出了两个模块。
但我们觉得这好像是没有必要的，因为大模型本身能够更好的理解语言，加一个额外的声音和文本之间转换没有必要，所以我们想让它直接接收声音信号，并且直接返回声音。这样一来不仅提升了效率，还避免了原来语音识别过程中信息缺失的问题。
搜狐科技：展望十年后，您觉得“大模型时代”会演变成什么样子，会给人类社会带来哪些影响和变化？
邱锡鹏：大模型现在相当于一个中枢，那将来肯定变成各种各样角色化的智能体。比如说每个人都有自己的大模型，每个公司都有自己的模型。它能真正充当个人的助理、高级伴侣之类的。
并且它可以以实体的形态出现，比如放在机器人上或出现在家庭里面等等，我觉得很快都会实现。