Meta发布最新开源大模型Llama 3
上海证券报
2024-04-20 12:13:39

原标题:Meta发布最新开源大模型Llama 3

上证报中国证券网讯(记者 罗茂林)当地时间4月18日,Meta发布其最新开源大模型Llama 3,提供8B和70B的预训练和指令微调版本。

根据Meta官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据进行训练,这比Llama 2使用的数据集大7倍,代码多4倍,并且Llama 3支持8K上下文长度,是Llama 2容量的2倍。并且,Meta还放出Llama 3两个版本与谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等竞争对手的参数对比。

Meta CEO扎克伯格介绍,Meta AI将集成到Meta旗下各大产品WhatsApp、Instagram、Facebook和Messenger顶部的搜索框中,并建立一个网站meta.ai,使其更易于使用。

Meta首席科学家Yann LeCun称,未来几个月,Llama将继续推出更多版本,也将很快释放Llama 3的研究论文。英伟达高级科学家Jim Fan认为,之后可能会发布的Llama 3-400B以上版本将成为某种“分水岭”,开源社区将能用上GPT-4级别模型。

相关内容

热门资讯

又多又全又便宜,TapTap独... 作为一名游戏编辑,我现在手机里装着一堆游戏相关的APP,像什么TapTap、Steam 移动端、主机...
原创 酸... 中和反应是酸与碱相互作用生成盐和水的经典化学反应。其实质可以追溯到离子层面:酸在水溶液中解离出氢离子...
金发科技申请聚酰胺合金材料专利... 国家知识产权局信息显示,江苏金发科技新材料有限公司;上海金发科技发展有限公司申请一项名为“一种聚酰胺...
从“凭经验”到“靠数据” □ 本报记者 岳 旭 6月5日,芒种时节,新沂市马陵山镇陈楼村的智慧农业示范点麦浪翻滚,连片水稻秧苗...
吉速报丨光电引领 光的“朋友圈... 2026年6月12日—14日,第三届长春光博会在吉林长春东北亚国际博览中心举行,本次博览会以“中国光...