微软发布phi-2小语言模型,27亿参数实现百亿参数大模型的效果,我们认为16-32GB内存+NPU的PC即可运行,后续手机也有望运行。
▍看模型:微软phi-2发布,小模型也足够智能。
2023年12月12日,微软发布了Phi-2语言模型。该模型仅有27亿参数,比700亿参数的Llama2小一个数量级,然而在性能表现方面不输其他模型。根据微软的测试,该模型在语言理解、常识推理、数学、代码四方面的能力全面超越130亿参数的Llama2,部分方面表现甚至优于700亿参数的Llama2。
▍看硬件:16-32GB内存+NPU可支持PC和手机AI需求。
SLM可以极大降低硬件需求,根据微软官网,训练端phi-2仅需96个A100 GPU训练14天;推理端,模型2.7B的参数量,在使用FP16精度的情况下,仅需5.4GB的存储空间。2023年6月到12月,微软Phi-1 1.3B、Phi-1.5 1.3B、谷歌Gemini Nano 3.2B、微软Phi-2 2.7B等小模型先后发布,模型本体存储占用大致在2.6GB-6.4GB,结合运算需求,SLM的RAM存储容量或达到4-8GB。结合其他程序内存占用,根据我们使用测试,Windows系统办公电脑日常轻载情况下内存占用约4GB,运行较多文档、网页的情况下内存占用或可达到12GB左右。
因此我们认为,存储空间方面,16G内存PC或可轻度运行语言模型,32G内存的PC则可以满足更多SLM+办公需求;当前手机配备的RAM空间较小,大多在16GB以下(也有配备24GB的型号),相对PC而言运行SLM的压力更大。此外NPU运行AI效率较高,能够帮助移动PC和手机降低能源消耗,延长续航,并强化推理能力,改善AI使用体验。
▍看应用:图片视频创意、智慧助手类应用可能率先推出。
我们认为SLM发展可以提升边端AI助手的智能程度,SLM与操作系统、办公软件以及各类APP结合进行本地部署可以提升使用体验。图形图像类的模型普遍尺寸比语言模型更小,创意应用的容错率也更高,也有望随着小模型和AI PC发展。
▍风险因素:
小模型性能效果不及预期;NPU发展不及预期;小模型在边端设备部署效果不及预期。
▍投资策略。
2023年下半年以来,SLM发展迅速,结合高性能存储、集成NPU的发展,语言模型有望在边缘端落地,大幅提升C端用户AI使用体验,存储、PC端和手机端AI应用有望受益,建议关注具备较多C端用户的AI应用领军企业。边缘AI的落地也有助于边缘AI算力硬件发展,建议关注AI物联网模组企业。
来源:券商研报精选