2023-11-17 12:41:47 作者:姚立伟
11月17日,微软Ignite 2023大会正式拉开帷幕,微软在本次活动上发布了其最小的语言模型 Phi-2。这款语言模型参数量达到27亿,相较于之前的版本有着明显的提升。
此前,在今年6月,微软发布了参数量为13亿的 Phi-1,该模型适用于QA问答、聊天格式和代码等场景,并且完全基于高质量数据进行训练。在基准测试中,该模型的表现超过了同类模型的10倍。
微软于9月份推出了更新版本 Phi-1.5,参数量与 Phi-1 相同,为13亿,它能够写诗、写电子邮件和故事以及总结文本。此外,在常识、语言理解和推理等方面的基准测试中,该模型甚至可以与多达100亿个参数的其他大型语言模型相媲美。
现在,微软发布的 Phi-2 拥有27亿参数量。虽然相比之前版本翻番了数量,但与主流的其他语言模型相比仍较小。
微软表示 Phi-2 在逻辑推理和安全性方面都有显著的改进。通过正确的微调和定制,小型语言模型成为了云和边缘应用程序的强大工具。Microsoft Research 机器学习基础小组负责人Sebastien Bubeck 在Twitter上发布了一张“MT-Bench”基准测试的屏幕截图,该测试评估了具有强大语言模型(如GPT-4)的大型和小型语言模型的实际功能。
根据结果显示, Phi-2 在某些方面优于Meta的Llama-2-7B模型。同时, Phi-2 的聊天版本也在策划中,并有望解决现有版本的一些问题。