目前,DeepSeek投入超140亿元(19.96亿美元)用于算力建设,购置了6万张英伟达GPU卡,包括1万张A100、1万张H100、1万张特供版H800和3万张特供版H20。与此同时,华为、腾讯、阿里等国内主流云平台已集体接入deepseek
中国AI模型DeepSeek引发的全球热议持续了近半个月,美国OpenAI公司终于推出新模型予以回应。北京时间2月1日凌晨,OpenAI CEO奥尔特曼(Sam Altman)在两周前的预告后,正式发布了AI推理模型o3-mini,该模型在ChatGPT和API服务中上线。o3-mini的响应速度比前代o1-mini提升了24%,答案准确性也有所提高。
对于免费用户,ChatGPT首次提供了有限速率的o3-mini版本,速率限制与现有的GPT-4o类似;Plus用户则可选择更高智能的o3-mini-high版本;而每月支付200美元的Pro用户则能无限使用o3-mini和o3-mini-high。在API层面,o3-mini的输入价格为1.10美元/百万token,输出价格为4.40美元/百万token,比o1-mini便宜63%,比满血版o1便宜93%,但仍是GPT-4o mini价格的7倍左右。
OpenAI表示,o3-mini的发布是公司在追求高效能智能技术道路上的又一重要里程碑。通过优化科学、技术、工程和数学领域的推理能力,同时保持较低的成本,OpenAI致力于让高质量AI技术更加普及和易于使用。
在过去的一周里,DeepSeek的R1和V3两款开源AI模型彻底颠覆了业界对“尺度定律”(Scaling Law)的传统认知。这两款模型不仅展现了卓越的性能,更以不到OpenAI二十分之一的算力成本,引发了OpenAI内部的强烈震动。这一突破甚至让华尔街开始质疑:AI公司是否真的需要投入巨额资金在算力上,才能实现AGI模型的迭代?受此影响,英伟达股价一夜之间暴跌17%,市值蒸发近6000亿美元。
然而,根据SemiAnalysis的分析,外界普遍认为DeepSeek拥有5万张H100 GPU计算卡,但实际上,DeepSeek的算力储备更为庞大。该机构指出,DeepSeek共堆砌了6万张英伟达GPU卡,其中包括1万张A100、1万张H100、1万张“特供版”H800以及3万张“特供版”H20。这些设备的总体拥有成本(TCO)超过140亿元人民币(约合19.96亿美元),其中服务器资本支出(CapEx)达12.81亿美元,运营成本为7.15亿美元。这一庞大的算力投入,无疑为DeepSeek的技术突破提供了坚实的后盾。
DeepSeek在MoE架构算法和系统软件层面有诸多创新,其启示在于,如何在算力有限的情况下,通过算法和软件协同创新,挖掘硬件极致性能,这对中国AI产业发展意义重大。他还指出,预训练模型完成后的后训练阶段十分关键,包括生成、推理和微调阶段,各阶段负载特点不同,并行策略也需优化,要从整体流程考虑,同时解决负载不均衡问题。
如今,o3 mini和DeepSeek R1都运用大量监督微调 (SFT)、强化学习 (RL) 、合成数据以及稀疏化MoE等技术。苹果公司研究团队和麻省理工学院合作发表的研究显示,稀疏性是模型发展的关键要素,DeepSeek通过关闭网络部分,能在较低计算能力下取得相同甚至更好的效果,有效利用有限计算能力成为模型发展的关键。
AI独角兽零一万物创始人李开复曾提到,现在一个模型训练仅用2000张GPU,训练周期一个半月,成本300多万美元,仅为马斯克xAI成本的1% - 2%。在AI技术快速发展的当下,OpenAI与DeepSeek的竞争走向值得关注,谁能在这场技术与资本的较量中脱颖而出,让我们拭目以待。
SemiAnalysis指出,到目前为止,“降本增效”模式成效显著。算法每年进步速度快4倍,这意味着实现相同功能,每年所需计算量会减少至原来的四分之一。随着时间推移,得益于算法的改进与优化,成本降低了10倍,能力却提升数倍 。
Anthropic首席执行官Dario Amodei也认为,更快的算法进步速度能带来10倍的提升。以GPT - 3质量的推理定价为例,成本已下降1200倍。
大模型推理成本下降是必然趋势。OpenAI在发布o3 mini时就表明,团队降低了token价格。自推出GPT-4后,每个token价格降低95%,同时还维持着顶尖的推理能力。此外,有消息称OpenAI准备开源,完整版o3最快几周内上线。
从价格和性能等维度来看,o3-mini是OpenAI目前性价比极高的模型之一。从相关数据可见,其多项技术能力超越了DeepSeek R1。
此前,奥特曼首次正面回应开源问题,坦言:“没错,我们正在探讨。我个人觉得在某些方面,我们或许站在了历史错误的一方,必须探寻不同的开源策略。不过,OpenAI内部并非所有人都认可这一观点,而且这也不是我们当下最优先处理的事务。”这是他首次公开承认OpenAI的闭源策略存在失误。
在DeepSeek引发的热潮推动下,奥特曼终于有了开源推理o1或基座GPT模型的打算。一旦实施,在一定程度上,这无疑将会是AI领域的一个突破性事件 。
今晨,OpenAI发布o3-mini模型,包含高、中、低三个版本。奥特曼称模型暂未集成思考技术,但会很快上线。
官方表示,o3-mini在科学、数学和编码领域表现出色。经测试,56%的测试者更青睐o3-mini给出的答案,在处理复杂现实问题时,重大错误率降低了39%。在中等推理难度下,o3-mini在AIME和GPQA等极具挑战性的推理与智力评估中,表现与o1相当。和o1-mini相比,o3-mini答案更准确清晰,推理能力也更强。
OpenAI发布的o3-mini研究论文显示,该模型在多种公开数据及内部定制数据集上完成预训练,这使得它在部分基准测试中表现与前沿水平相当。OpenAI计划让用户通过ChatGPT o3-mini搜索互联网并汇总结果,期望将其打造成实用且安全的模型。
在幻觉问题上,OpenAI披露,o3-mini在PersonQA数据集上的幻觉率低至14.8%,远低于4o的52% ,同时PersonQA准确率并未大幅下降。整体来看,o3-mini与OpenAI o1-mini表现相近,不过在模糊性、明确性问题的准确性上稍有降低