DeepSeek开源第四弹“教”优化,梁文锋参与研发
创始人
2025-02-27 21:42:06

DeepSeek开源周(OpenSourceWeek)第四弹来了,DeepSeek于2月27日在X上宣布这次开源的是三项优化并行策略,并在Github上详细展开了DeepSeek-V3和R1模型背后的并行计算优化技术,通过这些阐述可以清晰了解团队是如何精细地优化计算和通信,最大限度利用GPU能力的。

这三项优化并行策略其中包括DualPipe,这是一种用于V3/R1模型训练中计算与通信重叠的双向流水线并行算法,这种算法能够完全重叠前向和后向计算通信阶段,与传统方法相比减少了“流水线气泡”(设备在某些时刻的空闲等待)。 在DualPipe的开发团队署名中,包括创始人梁文锋。

就在昨日,DeepSeek还在海内外同时宣布了API 错峰优惠,自2月26日起,北京时间每日00:30至08:30的夜间空闲时段,API 调用价格大幅下调:DeepSeek-V3 降至原价的 50%,DeepSeek-R1 更低至 25%。DeepSeek鼓励用户充分利用这一时段,享受更经济更流畅的服务体验。

另外,也有消息称,DeepSeek正寻求巩固自身优势,尽早推出R2模型,消息提到DeepSeek原本计划在5月初发布R2模型,目前会加快这一速度。DeepSeek目前并未对此回应。

此前DeepSeek在R1论文中提到,R1 的性能将在下一个版本得到改善,因为相关的RL(强化学习)训练数据还很少。随着RL数据的增加,模型解决复杂推理任务的能力持续稳定提升,且会自然涌现出一些复杂行为能力。

业界认为,DeepSeek-R2的发布可能是AI行业的一个关键节点。

相关内容

热门资讯

狼队清清赛后感慨,决赛是延续职... 狼队夺冠后,清清在赛后采访的这番发言非常真诚,他说决赛是他延续职业生涯的一场比赛。输给AG之后,每一...
停服跑路的“国产之光”,在全球... 2024年6月,动荡不安的柳叶刀工作室,终于还是发布了一则关于《边境》的停服公告。 《边境》是柳叶...
《刺客信条:黑旗》重制版新增过... IT之家 5 月 24 日消息,育碧在《刺客信条:黑旗》重制版的制作上可谓处处用心。游戏画面迎来精美...
吕布西施体系成狼队夺冠秘诀,为... 这篇文章我们来聊一下狼队最后一局选出来的这一套阵容,也是最后一锤定音的关键,这套阵容其实非常妙,打破...
三种方法轻松延缓大脑衰老 参考消息网5月23日报道据英国广播公司网站5月11日报道,如果摆在面前的是一项简单任务和一项复杂任务...