原标题：参数量达到27亿！微软发布全联网模型 Phi-2

2023-11-17 12:41:47 作者：姚立伟

11月17日，微软Ignite 2023大会正式拉开帷幕，微软在本次活动上发布了其最小的语言模型 Phi-2。这款语言模型参数量达到27亿，相较于之前的版本有着明显的提升。

此前，在今年6月，微软发布了参数量为13亿的 Phi-1，该模型适用于QA问答、聊天格式和代码等场景，并且完全基于高质量数据进行训练。在基准测试中，该模型的表现超过了同类模型的10倍。

微软于9月份推出了更新版本 Phi-1.5，参数量与 Phi-1 相同，为13亿，它能够写诗、写电子邮件和故事以及总结文本。此外，在常识、语言理解和推理等方面的基准测试中，该模型甚至可以与多达100亿个参数的其他大型语言模型相媲美。

现在，微软发布的 Phi-2 拥有27亿参数量。虽然相比之前版本翻番了数量，但与主流的其他语言模型相比仍较小。

微软表示 Phi-2 在逻辑推理和安全性方面都有显著的改进。通过正确的微调和定制，小型语言模型成为了云和边缘应用程序的强大工具。Microsoft Research 机器学习基础小组负责人Sebastien Bubeck 在Twitter上发布了一张“MT-Bench”基准测试的屏幕截图，该测试评估了具有强大语言模型（如GPT-4）的大型和小型语言模型的实际功能。

根据结果显示， Phi-2 在某些方面优于Meta的Llama-2-7B模型。同时， Phi-2 的聊天版本也在策划中，并有望解决现有版本的一些问题。