Meta发布最新开源大模型Llama 3
上海证券报
2024-04-20 12:13:39

原标题:Meta发布最新开源大模型Llama 3

上证报中国证券网讯(记者 罗茂林)当地时间4月18日,Meta发布其最新开源大模型Llama 3,提供8B和70B的预训练和指令微调版本。

根据Meta官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据进行训练,这比Llama 2使用的数据集大7倍,代码多4倍,并且Llama 3支持8K上下文长度,是Llama 2容量的2倍。并且,Meta还放出Llama 3两个版本与谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等竞争对手的参数对比。

Meta CEO扎克伯格介绍,Meta AI将集成到Meta旗下各大产品WhatsApp、Instagram、Facebook和Messenger顶部的搜索框中,并建立一个网站meta.ai,使其更易于使用。

Meta首席科学家Yann LeCun称,未来几个月,Llama将继续推出更多版本,也将很快释放Llama 3的研究论文。英伟达高级科学家Jim Fan认为,之后可能会发布的Llama 3-400B以上版本将成为某种“分水岭”,开源社区将能用上GPT-4级别模型。

相关内容

热门资讯

两个Ilya的宿命轮回:老黄1... 来源:市场资讯 (来源:新智元) 新智元报道 编辑:倾倾 【新智元导读】OpenAI刚花1亿美金买...
百克生物:深入了解市场 创新研... 中证报中证网讯(记者 宋维东)百克生物相关负责人1月17日在接受中国证券报记者采访时表示,受市场竞争...
被美国法院裁定在搜索领域非法垄... IT之家 1 月 17 日消息,北京时间今天早间,据彭博社报道,谷歌正式对一项反垄断裁决提起上诉。该...
中路上分推荐,仅剩5位大爹,嫦... 这篇文章我们来推荐一下新赛季中路的上分英雄,大家可以从下面的名单中选择自己喜欢或者是擅长的。因为新赛...