微软谷歌搞大模型狂撒钱,传百度文心4.0推理成本翻10倍!
王小琉
2023-10-12 15:27:13
0

原标题:微软谷歌搞大模型狂撒钱,传百度文心4.0推理成本翻10倍!

最近关于百度文心大模型4.0的消息一直不断,小道消息跟GPT-4发布前媒体的报道可以说只多不少。不管是发布时间、模型的参数量,还是成本,都被爆出不少猛料。

其中,最值得关注的是模型推理成本的增加,因为这直接关系到大模型厂商为用户提供生成内容服务时所需要投入的资源。据爆料,文心大模型4.0的推理成本相比文心大模型3.5增加很多,有传闻是8-10倍,也有说法是至少翻了10倍。

不管哪种说法更准确,文心大模型4.0推理成本的激增已经是板上钉钉。

早前,据华尔街日报爆料:微软用户量高达150万的AI编程工具GitHub Copilot,平均每个月在每个用户身上都要倒贴20美元,最高能达80美元。也就是说,微软自做出Copilot以来,光是一个月在它上面亏损就高达3000万美元,一年下来亏损直接过亿。要知道,Copilot也不是能白嫖的,会员每月还得交10美元“使用费”。

有大模型行业专家透露,大模型的推理成本跟三个因素相关:模型的网络结构和参数规模、推理部署方式、芯片和集群架构。

从已经爆出来的信息看,文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型,预计可能突破万亿级别。换句话说,文心4.0的神经网络结构将变得更复杂、参数规模更大,这必然带来更大的计算量,推理成本增加也就顺理成章。

推理部署一直是百度的强项,尤其是在自家框架飞桨的支持下,并行推理、量化推理和变长优化等等都是飞桨在大模型推理上很好用的工具。在模型参数量变大的情况下,不知道通过飞桨和文心的联合优化能不能找补回来一点。

最后就是芯片和集群了,使用什么样的芯片型号,用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例,据爆料,GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面,不知是否也遇到了挑战。

虽然大模型领域的“摩尔定律”(Scaling Laws)已经开始发挥作用,随着未来能源和计算成本快速下降,更强大的AI能力将会出现。

但现实是,随着大语言模型的不断升级迭代,参数量突破万亿、模型能力越来越强、用户使用量激增,推理成本都是大模型厂商需要持续优化的地方。

现在,在等待计算成本真正降下来之前,大模型玩家们或许要思考下费用的问题了。

相关内容

热门资讯

科技通报房卡牛牛多少钱,牛牛房... HN8和iPhone13相比少了mini版本,毕竟小屏手机在市场的销量确实并不怎么好,为了适应市场和...
玩家实测15元100张房卡代理... pKqn随着智能手机的发展,国产手机取得的进步是大家都有目共睹的,同时品质和体验的不断提升,使得国产...
重大通报微信链接房卡充值,金花... R7所以说等待iPhone14发布固然也可以,但更明智的选择是入手正在大降价的iPhone13。1、...
玩家实测房卡批发价格表,青龙区... fUJQnS9在参数上,据悉该机搭载了5000万像素1英寸大底主摄传感器+2000万像素超广角+12...
推荐一款斗牛房卡批发价,大厅房... lilzD苹果手机如今基本已经成为了高端旗舰机型的代名词了,在全新的iPhone 14系列即将到来之...
科技通报牛牛房卡房间怎么开,牛... pEVIbv更高档的一款华为P60 Pro其实配置相比华为P60的区别不大,绝大多数配置都一模一样,...
科技通报15元100张房卡代理... PyiPhone 14 Pro正面采用了居中感叹号形挖孔,内置True Depth摄像头模块,拥有更...
我来教你牛牛房卡最低价格,牛牛... m关键是苹果手机在市场中立足了如此久的时间,按理来说一些功能或者是规划都非常详细,然而从实际的角度来...
重大来袭官方正版房卡代理,正规... 1bdVqtJ7苹果手机如今基本已经成为了高端旗舰机型的代名词了,在全新的iPhone 14系列即将...
玩家实测斗牛房卡链接在哪里买,... 65In8qz关键是苹果手机在市场中立足了如此久的时间,按理来说一些功能或者是规划都非常详细,然而从...
我来教你牛牛房卡在哪里购买,斗... UYXkSUg摩托罗拉X50mini秀肌肉!在外观设计方面,据曝光的概念图显示,这款摩托罗拉X50m...
重大通报金花房卡怎么购买,牛牛... C07GSiPhone 14 Pro最新渲染图,由平面设计师Ian Zelbo制作,基于早些时候业内...
金华市至臻印业取得便于清理的印... 金融界2025年3月15日消息,国家知识产权局信息显示,金华市至臻印业有限公司取得一项名为“一种便于...
带你了解大厅房卡哪里有卖,牛牛... oiPhone16Pro这次的主要卖点,集中在屏幕上的体验和后置相机模组的设计,这两个设计可以说完全...
带你了解斗牛房卡多少钱一张,金... 64Iu4Pe不管怎么进行调整,应该都要比iPhone13标准版的性能更强,不然也就很难让用户产生换...
重大来袭牛牛怎么建房间,金花房... j1Hk3i能够打败“阉割版”A15芯片的只有“满血版”A15,所以如果你在意性能,那么iPhone...
实测分享金花房卡购买联系方式,... sJWiPhone13内置3095mAh电池,支持20W有线+15W无线,别看电池容量比任何一款安卓...
推荐一款牛牛房卡在哪里买便宜,... J第一则是坏消息,有爆料信息称会iPhone14系列会搭载A16处理器,但这款处理器的工艺依旧是5n...
重大来袭斗牛房卡出售,天九房卡... 1G6Pgy9此次苹果秋季新品发布会也确定了,距离iphone14系列发布还有一段时间,如今ipho...
我来告诉你新悠悠金花房卡购买联... ee4316T3.全系电池大提升,其中标准版iPhone 14版本电池容量将会扩充为3228mAh,...