世界上最大的AI大模型:马斯克的Grok-1正式开源
卢松松
2024-03-19 21:25:28

原标题:世界上最大的AI大模型:马斯克的Grok-1正式开源

关注卢松松,会经常给你分享一些我的经验和观点。

马斯克是真男人啊,不仅SpaceX发射基地可以随意参观、连设计图纸都公开了。SpaceX刚刚发射完没几天,连他的AI大模型Grok-1也正式开源了。

Grok-1是当前世界上参数最大的、开源大语言模型。296GB的大小,3140亿参数,远超OpenAI GPT-3.5的1750亿。基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140亿参数的MoE模型,在给定token上的激活权重为25%;2023年10月,xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。

开源就是开放源代码,说白了就是开放专利,公开技术!但需要有足够的GPU才能运行。可能需要一台拥有628GB GPU内存的机器。英伟达Tesla A100 80G(原版PCIE)京东售价16万,平民玩家根本玩不起,仅8块GPU就接近百万。其他硬件配置就更不用说了。

前几年马斯克公布了特斯拉的多项专利,中国的新能源汽车如雨后春笋迅猛发展。这次会有什么会爆炸式发展呢?

预计全球Ai企业将迎来快速发展,马斯克开源Grok—1,将会同时造福中国Ai企业,助力中国Ai技术发展!

马斯克之前说过:科技创新才是推动人类进步的关键,而专利保护只会阻碍这个进程。他希望通过公开这些专利设计,鼓励更多人加入科技创新行列,共同推动人类社会进步。

卢松松是一位自媒体人、短视频博主。也是创业者必看的账号,关注草根创业圈、科技互联网、自媒体和短视频行业。感谢您的关注!

相关内容

热门资讯

任天堂社长称将用优质游戏吸引玩... 任天堂提高Switch2售价,毫无疑问会让很多潜在玩家考虑一下自己的钱包厚度。对此,任天堂社长古川俊...
《王者荣耀》月收9.4亿,《异... 随着这些年国内游戏厂商声量壮大,中国游戏全球化/区域化新品布局、中国厂商于宣发联动、投资并购等业态频...
嘉庚创新实验室牵头起草我国首个... 央广网福州5月11日消息(记者张子剑)近日,记者从福建省科技厅获悉,嘉庚创新实验室牵头起草的我国首个...
一键连接或成一键失守 国安机关... 国家安全部今天发布安全提示文章。在科技飞速发展的当下,无线耳机、智能手表、无线键盘等蓝牙设备凭借“一...
幽灵般的“穿墙术”:量子隧穿与... 想象一下,你正对着一面坚固的混凝土墙踢足球。在我们的日常经验中,除非你力大无穷把墙踢塌,否则球永远会...