语言模型压缩图像语音有等效性：任意压缩算法皆可
中关村在线
2023-09-29 06:03:09
0次

原标题：语言模型压缩图像语音有等效性：任意压缩算法皆可

2023-09-28 07:40:45 作者：姚立伟

近日，DeepMind的研究人员对大型语言模型（LLM）的压缩能力进行了评估，发现这些模型具有惊人的压缩能力。除了常规文字资料外，研究人员还发现这些模型可以用于压缩图像和音频。相关研究已经在学术期刊上发表。 研究人员在研究中使用了一个名为“Chinchilla 70B”的模型，尽管这个模型主要使用文字训练，但研究人员发现该模型还能够用于压缩ImageNet图片，将文件压缩至原始大小的43.3%。甚至该模型还可将LibriSpeech语音样本压缩至原始大小的16.4%。 研究表明，模型的“预测”能力和“压缩”能力之间存在等效性，因此研究人员可以使用任何压缩算法建立一个更强大的条件生成模型。 在当前语言模型成果丰富的环境下，任何人都可以取得语言模型并将其用于压缩，而不需要额外的训练成本。此外，即使使用主要的文字进行训练的基础模型，由于其上下文学习能力，也能够成为通用压缩器。 研究还发现，过大或过小的模型都不是最佳选择。如果模型过大，可能会对压缩能力产生负面影响，因为模型参数本身也需要在输出中被考虑。而过小的模型虽然能够有效压缩资料，但庞大的参数本身也会成为负担。此外，自然语言处理中常用的分词方法（将一串文字切割成更小、更容易处理的步骤），在压缩层面上并不会提高压缩效率，反而会增加模型的体积。

能力 语言 参数 模型 训练 语音 相关研究 图像 研究人员 文字 算法 通用压缩器

上一篇：亿道信息(001314.SZ)针对性推出工业平板电脑

下一篇：助力生物医药产业发展，张江AI新药研发联盟“增员扩容”

相关内容

热门资讯

游戏测评！金花房卡哪里有的卖，... JTV在手机市场中，realme GT Neo5是一款综合设计非常出彩并且关注度非常高的一款产品，r...
评测！正规房卡出售平台，微信金... uwyuRB7在手机市场中，realme GT Neo5是一款综合设计非常出彩并且关注度非常高的一款...
游戏指南！金花牛牛房卡批发，金... vmnp用户对苹果的刘海屏是很有意见的，说到底是视觉疲劳了，多年不变的设计，确实是有点说不过去了。在...
评测！房卡牛牛多少钱，牛牛房卡... gicG5Ew其实苹果手机多年的外观设计，已经没有什么太大的变化，主要是因为当前的内部架构设计已经十...
游戏推荐金花房卡全国代理，金花... RJoWBliPhone13配备6.1英寸超视网膜XDR显示屏，虽说屏幕没有高刷新率，但60Hz对于...
游戏测评！牛牛房卡最低价格，金... QriPhone13后置1200万广角+1200万超广角，广角升级了传感器位移式光学防抖，使得视频拍...
游戏推荐正规房卡出售平台，牛牛... 0Mx据悉，“灵动岛”是苹果公司最新的手机设计语言，其能够将通知和其他信息以类似于动画的方式呈现在用...
游戏指南！正版房卡批发大厅，房... tjmiphone14系列整体改变较大，搭载的最新的A16芯片，目前手机主流市场依旧是以火龙为主导，...
游戏！美猴王牛牛房卡哪里买，微... WNT7m这其中，iPhone 14标准版的两款，即iPhone 14、iPhone 14Max依旧...
游戏知识！金花房卡批发，牛牛房... jUucdhiphone14系列整体改变较大，搭载的最新的A16芯片，目前手机主流市场依旧是以火龙为...
游戏牛牛房卡多少钱，牛牛房卡哪... BjxN当然，行业在发展，相信在接下来realme手机会再接再厉，为行业带来更有竞争力的产品。网上曝...
游戏指南！斗牛房卡批发价，斗牛... EsXyUMh不仅影像能力再度突破，还都适配了鸿蒙OS3.1，甚至原本单向的北斗卫星消息如今也升级为...
游戏牛房卡价格，牛牛房卡批发平... uhuQ8YM2iPhone16Pro这次的主要卖点，集中在屏幕上的体验和后置相机模组的设计，这两个...
游戏牛牛房卡批发，金花牛牛房卡... j不管怎么进行调整，应该都要比iPhone13标准版的性能更强，不然也就很难让用户产生换机的欲望了，...
游戏指南！斗牛房卡价格，牛牛房... q6VErAeW.延续了几代的刘海屏也将会被抛弃，采用了全新的“感叹号”屏。以前一直觉得iPhone...
游戏指南！金花房卡充值，美猴王... br3p根据目前爆料信息来看，iPhone 14系列中Pro版的两款提升较大，性能、外观、影像以及配...
游戏！牛牛科技房卡多少钱一张，... UfN2尽管目前距离 iPhone 15 系列的亮相还有很长一段时间，但按照以往的惯例，该系列新机势...
游戏推荐正版游戏大厅房卡如何购... DXY苹果的秋季新品发布会已经定档于北京时间的9月13日。这次发布会上“官宣"的产品中，不仅有热度最...
游戏！牛牛房卡在哪里买便宜，大... r7zsmDVs可靠的泄密者ShrimpApplePro分享到 Twitter 的图像和视频展示了一...
游戏测评！微信大厅房卡充值，牛... r0iPhone14 Pro系列的灵动岛将前置屏幕的药丸状挖孔与圆形挖孔结合在一起，根据多方爆料显示...