当心机器“编造”，误导科学犯错
“如果你问ChatGPT刚刚写的内容是否准确，它就无法回答这个问题。”在昨天举行的“世界顶尖科学家智能科学大会”上，首届世界顶尖科学家协会奖“智能科学或数学奖”得主、加州大学伯克利分校教授迈克尔·I·乔丹提醒人们重视人工智能（AI）的“不确定性”问题，尤其是在AI越来越深入参与到各种科研场景中的当下。
“机器科学家”可能会将错误埋得很深
2018年，DeepMind发布第一代“阿尔法折叠”，一个能根据蛋白质序列预测结构的深度学习模型，当年就取得了全球蛋白质结构预测技术评估大赛的冠军。2021年，该团队在《自然》杂志上透露，他们已经使用“阿尔法折叠”预测了包括人类和20种其他生物在内的共计35万种蛋白质的结构。这一研究极大推动了AIforscience（人工智能赋能科学）的进展。眼下，AI大模型已经在新药研发、气象预报、流体力学等方面的研究中得以广泛应用。
不过，乔丹提醒人们注意，“阿尔法折叠”的惊人预测能力依赖的是有标记的蛋白质结构数据，而这些标记来源于人。如今，有许多团队正做着和DeepMind团队类似的工作，不过他们用来预测的蛋白质数据并非真实数据，而是由机器生成的数据。这样做的好处是大大扩展了数据量，比如用生成数据可实现上亿种规模的蛋白质结构预测，而用人力标注数据只能做到几十万种规模的预测。
乔丹从2004年就开始关注蛋白质结构预测问题，他发现蛋白质有一种折叠紊乱现象。但奇怪的是，使用更大的数据量进行蛋白质结构预测的AI模型可信度反而低。开始他并不明白发生了什么，后来才找到问题所在，原来是机器幻觉。
“在聊天类的大语言模型中，我们很容易用常识分辨出机器在胡说八道。但在科研中，当机器‘编’出一些看上去像那么回事的数据时，你可能根本察觉不出结果是有问题的。”他认为这是AIforscience值得警惕的地方，因为错误会被埋得很深。
鼓励新经济模式，激励技术发展
AI是否会和人类抢饭碗，一直是个备受关注的话题。2011年诺贝尔经济学奖得主、纽约大学教授托马斯·萨金特认为，人工智能会让很多岗位消失，但是还会有新的工作机会，懂得在AI时代利用新规则的人和企业会“一飞冲天”。
在乔丹看来，平均50年人类就会产生一个新的经济增长点，比如从手工业到机械工业，从化学工业到信息工业，现在我们进入AI时代也是遵循这个规律。他认为，这个时代有自己的经济模型，商家和客户是有效联结在一起的。比如，每个人都可以通过互联网平台订制自己喜欢的音乐，而非由平台将内容推送给所有人。
“我们需要一种能够激励技术发展的经济模式。”2021年阿贝尔奖得主、普林斯顿高等研究院数学学院冠名教授艾维·维格森说，如何设计新的经济模型，如何让其具有可扩展性和稳定性，如何体现公平性，是人们面对AI发展所要思考的问题。
用好青年力量，期待“点突破”
“面对不确定性，我们需要青年的力量。”中国科学院院士、复旦大学校长金力说。他细数了麻省理工学院、OpenAI、谷歌以及马斯克创立的xAI公司的大模型团队，发现其共性就是集聚了高密度的青年精英，长期聚焦世界性和深层次的人工智能难题。由此，金力提出聚焦最具潜力领域实现点状突破、创新组织机制汇聚精锐人才、构建紧密协作型科学智能生态体系和开放科学大环境的AIforscience布局行动逻辑。
什么是上海在AI方面最可能实现“点突破”的研究领域？金力认为，基于上海三大先导产业布局，可聚焦生命科学、物质科学和大气科学三大方向，构建以数据和机理双驱动的新型科学大模型，以待引领性创新突破。目前，上海已有OPUS-Rota4（蛋白质折叠预测）、伏羲（气象大模型）、风乌（气象大模型）、东方·御风（流体仿真大模型）等科学大模型。
作者：沈湫莎
文：沈湫莎 编辑：范菁
转载此文请注明出处。