DeepMind:大模型可实现高效无损压缩图片和音频
金融界
2023-09-28 14:48:11
0

原标题:DeepMind:大模型可实现高效无损压缩图片和音频

DoNews9月28日消息,DeepMind 研究人员日前评估大型语言模型(LLM)的压缩能力时,发现这些模型的“压缩能力”相当惊人,除了常规文字资料外,还可以压缩图片和音频,相关内容已经发布在 ArXiv 上。

据悉,DeepMind 在研究中,使用了一个名为“Chinchilla 70B”的模型,虽然这个模型主要使用文字训练,但是研究人员发现该模型也可用于压缩 ImageNet 图片(PNG),可将文件压缩至原始大小的 43.3%,甚至可将 LibriSpeech 语音样本(FLAC)压缩至原始的 16.4%。

DeepMind 的研究证明,模型的“预测”能力和“压缩”能力之间存在“等价性”,因此研究人员可以使用任何压缩算法,建立一个更加强大的条件生成模型。

IT之家注:“压缩”本质上就一种编码的过程,目标是要以更少的内容表示更多的资料,因此当模型达到一定的预测能力时,其实也就代表模型学会了一种编码的方式,这种编码方式能够用来压缩文件,因为模型已经理解了相应文件中的特征和模式(即一个模型如果能实现精确预测,也就能够捕捉文件的本质特征和结构,从而有效地压缩资料文件)。

DeepMind 认为,在当前语言模型成果丰富的当下,任何人都可以取得语言模型并将其用于压缩中,而不需负担额外的训练成本。

同时,研究也显示,即使是“主要使用文字进行训练的基础模型”,由于其上下文学习能力,因此也能够很好地成为“通用压缩器”。

研究还发现,若要将模型用于压缩上,模型并非越大越好,过大的模型可能反而对压缩能力产生负面影响,因为模型的参数本身也需要在输出中被考虑进去,当有一个模型具有非常多的参数,虽然能够有效压缩资料,但是庞大的参数本身也会成为负担,且自然语言处理常用到的分词(Tokenization)方法(把一串文字切割成更小、更容易处理的步骤),在压缩层面上不会提高压缩效率,反而会增加模型的体积。

来源:iDoNews

相关内容

热门资讯

steamdeck 怎么下载游... 在享受SteamDeck带来的游戏乐趣时,不少玩家可能会遇到下载游戏缓慢或失败的问题。这不仅影响了游...
“耳朵经济”市场规模3800亿 【深圳商报讯】(记者 李佳佳)10月18日,2024国际音频产业峰会在深开幕。本届峰会以“声联世界,...
如何实现小红书多账号同步运营?... 小红书多账号同步运营实战指南:视频内容一键分发攻略 在数字化时代,多平台运营已成为品牌和内容创作者的...
女性首获科学探索奖数学奖,研究... 新京报贝壳财经讯(记者 韦英姿)10月19日,科学探索奖2024年颁奖典礼在上海举行。今年的科学探索...
用科技沉淀传统,用想象力让时间... 华为平板让绘画艺术拥抱大众。 新技术周期来临,如何让每一个人拥有尽情创作的机会? 绘画作为世界七大...
福建泰霖智能科技取得注塑机混料... 金融界2024年10月19日消息,国家知识产权局信息显示,福建泰霖智能科技有限公司取得一项名为“种注...
2024年新款碳中和产品面市,... 今天分享的是:2024年新款碳中和产品面市,苹果一年来有何改变? 报告共计:8页 《2024年新款碳...
无短板,真旗舰,vivo X2... vivo X200系列在近期正式亮相,为智能手机市场带来了一款全新的高端旗舰产品。vivo X200...
大模型训练遭实习生破坏?字节:... 字节跳动回应了“实习生破坏大模型训练”相关传闻。 近日,有传闻称:“字节跳动的大模型训练被实习生入侵...
第三届广东省材料研究学会青年科... 中新网广东新闻10月18日电 (记者 唐贵江) 10月18日,第三届广东省材料研究学会青年科技奖发布...
原创 5... 新产品会比旧产品更强,在很多人的认知中都是这样,因为产品按理来说都是在不断升级的,新产品肯定会比旧产...
人机友好空间探索-腾讯研究院 今天分享的是:人机友好空间探索-腾讯研究院 报告共计:51页 《人机友好空间探索 - 腾讯研究院》报...
凯普地中海贫血防控项目荣获科技... 转自:凯普生物 科技成果推广奖 10月17日,2024年广东省科技大会在广州顺利召开,会上正式颁发2...
伊雷娜·克罗宁:AI可通过很多... 来源:睿见Economy “2024 ESG全球领导者大会”于10月16日-18日在上海召开。DAD...
崇左移动:5G智慧园区平台,赋... 近年来,天等县不断优化营商环境、推进乡村振兴发展战略,倾力打造南疆山区创业之城,建成天等返乡创业园。...
为感恩用户豪抽60台新车,其中... 在风雨兼程中走过三十载的比亚迪(002594),即将迎来其辉煌历程中的又一里程碑——30周年庆典。自...
原创 小... 大家好!关于小米手环恢复出厂设置后如何连接的问题,我为大家整理了一份详细的解决方案和具体操作步骤,希...
“新视窗,看杭州”自媒体采风团... 近年来,伴随着新一代数字技术与现代医疗行业融合,越来越多的患者享受到了智慧医疗建设带来的智能化、信息...
南阳医专一附院举办紧密型城市医... 10月18日下午,南阳医专一附院4号楼一楼多媒体会议室迎来了一场重要的培训会议——南阳医专一附院紧密...
航天员如何在太空中自给自足?这... 科技飞速发展的今天,长时间的太空旅行对人类来说依然是非常困难的,除了幽闭的小空间可能会对航天员带来心...