微软谷歌搞大模型狂撒钱,传百度文心4.0推理成本翻10倍!
王小琉
2023-10-12 15:27:13
0

原标题:微软谷歌搞大模型狂撒钱,传百度文心4.0推理成本翻10倍!

最近关于百度文心大模型4.0的消息一直不断,小道消息跟GPT-4发布前媒体的报道可以说只多不少。不管是发布时间、模型的参数量,还是成本,都被爆出不少猛料。

其中,最值得关注的是模型推理成本的增加,因为这直接关系到大模型厂商为用户提供生成内容服务时所需要投入的资源。据爆料,文心大模型4.0的推理成本相比文心大模型3.5增加很多,有传闻是8-10倍,也有说法是至少翻了10倍。

不管哪种说法更准确,文心大模型4.0推理成本的激增已经是板上钉钉。

早前,据华尔街日报爆料:微软用户量高达150万的AI编程工具GitHub Copilot,平均每个月在每个用户身上都要倒贴20美元,最高能达80美元。也就是说,微软自做出Copilot以来,光是一个月在它上面亏损就高达3000万美元,一年下来亏损直接过亿。要知道,Copilot也不是能白嫖的,会员每月还得交10美元“使用费”。

有大模型行业专家透露,大模型的推理成本跟三个因素相关:模型的网络结构和参数规模、推理部署方式、芯片和集群架构。

从已经爆出来的信息看,文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型,预计可能突破万亿级别。换句话说,文心4.0的神经网络结构将变得更复杂、参数规模更大,这必然带来更大的计算量,推理成本增加也就顺理成章。

推理部署一直是百度的强项,尤其是在自家框架飞桨的支持下,并行推理、量化推理和变长优化等等都是飞桨在大模型推理上很好用的工具。在模型参数量变大的情况下,不知道通过飞桨和文心的联合优化能不能找补回来一点。

最后就是芯片和集群了,使用什么样的芯片型号,用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例,据爆料,GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面,不知是否也遇到了挑战。

虽然大模型领域的“摩尔定律”(Scaling Laws)已经开始发挥作用,随着未来能源和计算成本快速下降,更强大的AI能力将会出现。

但现实是,随着大语言模型的不断升级迭代,参数量突破万亿、模型能力越来越强、用户使用量激增,推理成本都是大模型厂商需要持续优化的地方。

现在,在等待计算成本真正降下来之前,大模型玩家们或许要思考下费用的问题了。

相关内容

热门资讯

西湖边市集已 Next lev... 全文约 859字 013月16日,杭州西湖边湖畔有艺市出现机器人实习生“小杨”,负责市集客服,吸引众...
中国首台太空采矿机器人问世,开... 我国航天领域迎来重大进展,首台太空采矿机器人问世。这一成就不仅展示了我国在太空探索及资源开采的决心和...
蛮王大厅房卡(西西大厅房卡链接... vy苹果手机目前发展的情况并不是特别好,一方面是有消息称iOS16可能不会带来特别多的改变,另一方面...
新道游大厅拼三张房卡微信群怎么... 新道游大厅拼三张房卡微信群怎么开牛牛房间(火神大厅牛牛房卡如何购买要素一(KK)大厅介绍/房卡微/4...
天龙大厅斗牛房卡充值正版大厅怎... 天龙大厅斗牛房卡充值正版大厅怎么买房卡(悠悠大厅金花房卡多少钱)加:微(474330444)炸 金 ...
乐酷大厅房卡微信新猴王大厅怎么... 乐酷大厅房卡微信新猴王大厅怎么买房卡(砖石大厅房卡哪里买的)加:微(474330444)炸 金 花链...
新道游大厅房卡正规房卡链接在哪... 新道游大厅房卡正规房卡链接在哪购买灵尊大厅牛牛房卡去哪里买加:微(474330444)炸 金 花链接...
我来教教大家卡卡大厅房卡(火神... 我来教教大家卡卡大厅房卡(火神大厅牛牛房卡如何购买加:微(474330444)炸 金 花链接房卡链接...
超稳无敌牛牛卖房卡多少钱一张(... 超稳无敌牛牛卖房卡多少钱一张(人海大厅房卡多少钱一张)(今日/知乎)无需打开直接搜索微信【47433...
我来告诉你正规房卡链接在哪购买... 4QRqbZ0r苹果手机如今基本已经成为了高端旗舰机型的代名词了,在全新的iPhone 14系列即将...
蜜瓜大厅拼三张房卡!道游房卡价... 蜜瓜大厅拼三张房卡!道游房卡价格房卡哪里买的加:微(474330444)炸 金 花链接房卡链接—房卡...
华为Pura新品悬念即将揭晓,... 3月17日消息,华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东发布了一条新品预热视频...
玩家实测牛牛房卡哪家便宜,牛牛... RU0QV在摄像头方面,这款摩托罗拉X50mini采用了后置三摄设计,后置三摄集成在手机背部左上方的...
VR轻量化是伪命题?真正全功能... 轻如未来,视若真实”——这是当前VR设备厂商竞相喊出的口号。随着多款轻量化VR头显相继上市,市场似乎...
重大发现牛牛卖房卡多少钱一张,... r6b9N从此前信息来看,苹果目前主要是将 N5和N5P用于其现有的A14、M1系列和A15芯片,那...
隔壁恒星又发现4颗袖珍地球? 周一 · 知古通今| 周二 · 牧夫专栏 周三 · 视频天象 |周四 · 观测指南 周五 · 深空...
新鸿运房卡新大圣金花房卡购买渠... 10月19日消息,“双11”电商大促来临之际,咨询房/卡添加微信:474330444哔哩哔哩(以下简...
重大通报房卡批发价格表,天九房... HB最核心的处理器,其实真没必要多讲,iPhone13搭载A15芯片,尽管是“阉割版”,但依旧是行业...
玩家实测牛牛房卡最低价格,牛牛... GEWi此次华为旗舰新品发布会不仅有三款华为P60系列旗舰,而且还有华为折叠屏新机华为Mate X3...
「房卡科普」牛牛卖房卡多少钱一... 「房卡科普」牛牛卖房卡多少钱一张正大大厅房卡链接购买【要素一】(KK)微信链接各大厅/房卡介绍微/4...