在当今科技飞速发展的时代，大语言模型如 ChatGPT 等成为了人们关注的焦点。它们在诸多领域展现出了惊人的能力，从写诗、写代码到辅助医疗诊断，似乎无所不能。然而，随着应用的深入，人们也逐渐发现大语言模型并非万能，其在落地应用中面临着诸多挑战，其能力边界也逐渐成为研究的重要课题。复旦大学的这份报告对大语言模型的能力边界与发展进行了深入探讨，有助于我们更全面、深入地了解这一前沿技术。

幻影视界今天分享的是人工智能AI行业研究报告：《2024年大语言模型的能力边界与发展思考报告》由复旦大学发布。

大语言模型的基本原理

大语言模型的核心任务是根据已有的文本生成合理的延续内容。它通过对数十亿个网页、数字化书籍等人类撰写内容的统计规律进行学习，推测接下来可能出现的文字。例如，当给定一段文本 “今天天气真好”，模型会基于其学习到的语言模式和常见搭配，生成诸如 “适合出去游玩”“让人心情愉悦” 等合理的后续内容。

大语言模型的发展思考

（一）当前面临的问题

1. 训练数据与模型性能

• 训练数据的规模和质量对模型性能影响巨大。虽然大规模数据有助于模型学习更多知识，但同时也带来了数据管理和筛选的挑战。例如，如何确保数据的准确性、多样性和时效性，避免 “垃圾数据” 的干扰，是当前需要解决的问题。
• 模型在不同任务上对数据量的需求不同，如何确定最优的数据量和数据分布，以提高模型在各种任务上的性能，仍需进一步研究。

1. 模型的可解释性与安全性

• 大语言模型的决策过程和输出结果往往难以解释。这在一些关键应用领域，如医疗、金融等，可能会带来风险。例如，在医疗诊断中，如果模型给出了诊断建议，但无法解释其依据，医生和患者难以信任和应用。
• 模型可能会生成有害、不道德或不符合社会规范的内容。如何确保模型的输出安全、合规，是发展过程中需要关注的重要问题。例如，防止模型生成歧视性、虚假宣传等内容。

1. 模型的能力边界与应用场景适配

• 对模型能力边界的清晰认知有助于更好地选择应用场景。但目前在实际应用中，往往存在对模型能力过度期望或错误应用的情况。例如，在一些需要高精度和专业知识的场景中，如设计资料审核，如果仅依赖大语言模型，可能无法达到预期效果，还需要结合专业人员的判断。

（二）未来发展路径

1. 追求 AGI（通用人工智能）

• 目标：OpenAI 等机构致力于发展 AGI，旨在让模型代替人类完成所有脑力劳动，具有自我学习、自我进化能力。例如，像人类一样能够自主学习新知识、适应新环境、解决各种复杂问题。
• 挑战：这需要不断扩大模型的参数规模（如达到 1 万亿、5 万亿、10 万亿等）、增加训练数据量（10TB、20TB、40TB、100TB 等）以及扩大 GPU 卡规模（1 万、5 万、10 万甚至 100 万卡）。然而，目前在模型的推理和世界知识建模能力构建方面面临巨大挑战，并且资本消耗巨大。

1. 聚焦特定任务应用

• 目标：针对特定任务进行优化，用相对较小规模的模型（如 1B、3B、7B、14B、30B、70B 等参数规模），结合几千到几万条训练数据，在特定领域或任务中发挥作用。例如，在智能客服、简单文本生成等领域。
• 挑战：需要准确判断模型在不同任务上的能力边界，选择合适的应用场景。同时，要确保在特定任务中的应用具有实际价值，能够真正提高效率或解决问题。

幻影视界整理分享报告原文节选如下：