微软新技术让大模型在手机上运行快5倍更高效更低耗_资讯

创始人

2024-08-12 18:01:55

0次

【太平洋科技快讯】近日，微软亚洲研究院发布了一项名为T-MAC的新技术，旨在优化大型模型在端侧设备上的部署。这项技术凭借其高性价比，使得仅凭CPU就能实现模型的快速运行，同时大幅降低资源消耗。

T-MAC技术亮点：手机运行大模型提速4-5倍

T-MAC技术使手机、PC、树莓派等端侧设备运行大型语言模型成为可能，解决了存储和计算两大难题。

通过基于查找表(LUT)的计算范式，T-MAC技术避免了传统方法中的反量化操作，提高了推理性能，降低了乘法和加法操作的数量。

在最新高通Snapdragon X Elite芯片组的Surface AI PC上，T-MAC技术的表现超越NPU，实现了高效的模型部署。

T-MAC技术核心创新：以比特为核心的计算

T-MAC技术采用查找表(LUT)代替传统的乘累加(MAC)计算，降低了CPU上的功耗，提高了计算效率。

以比特为核心的计算方式，简化了数据结构，实现了不同精度模型的快速部署。

T-MAC技术的计算性能随着比特数的降低而线性提高，这在基于反量化的GPU和NPU中是难以实现的。

T-MAC技术优化算子实现，提升端侧设备性能

研究员们针对T-MAC技术设计了高效的数据结构和计算流程，以提升端侧设备的计算性能。

通过优化矩阵分块、权重布局和寄存器重排等方法，T-MAC技术在多种CPU平台上实现了显著的性能提升。

实验结果表明，T-MAC技术在4比特算子上相较于现有方法获得了显著加速。

微软亚洲研究院已将T-MAC技术开源，相关论文已在arXiv公开。这一创新技术的推出，有望为端侧设备运行大型模型提供更多可能性，推动行业的发展。

Meta AI聊天机器人开口说... Meta将在9月25、26日举行Connect 2024大会，其中去年发布的AI聊天机器人“Meta...

《三体》何以走向世界？今年8月，根据《三体》改编的VR（虚拟现实）作品正式上线；在此两个月前，张艺谋将执导大银幕电影《三体...

DNA编码化学库新技术助推药物... 原标题：DNA编码化学库新技术助推药物研发科技日报讯（记者张梦然）近年来，科研人员虽然在分子疗法...

上海发布首批“市区协同”千亿级... 2024年第二十四届中国国际工业博览会开幕式9月24日上午在上海举行，上海首批“市区协同”千亿产业集...

高德企业用车：智能避堵，动态选... 高德企业用车近日推出了“动态选路服务”，该服务依托智能算法，实时规避拥堵路线，为企业用户打造更智能、...

2024年数码摄像手机：小米1... 大家好，今天我们来聊聊备受瞩目的小米14 Ultra。这款手机自发布以来，凭借其强大的性能、卓越的拍...

甘肃首颗SAR卫星发射成功可... 9月24日上午10时31分，“神启号”卫星使用捷龙三号遥四运载火箭在山东附近海域发射升空。 “神启...

全国万人集体婚礼！中国移动“保... 9月22日，全国妇联、国家民委、民政部、农业农村部、中央军委政治工作部联合举办“家国同庆见证幸福”...

锦波生物功能蛋白山西省重点实验... 近日，全景网从锦波生物（832982.BJ）官微获悉，山西省科学技术厅于8月21日发布《关于批准建设...

华熙生物湘潭基地投产：深化医疗... 文/陈岩鹏随着生物制造与医疗技术的飞速发展，我国医疗器械产业正迎来前所未有的发展机遇。 9月22日...

微软拟重启三哩岛核电站来源：来自雪球近期，美国最大清洁能源供应商星座能源公司（Constellation Energy）...

保护商旅酒店、专用车辆无线安全... 在快节奏的商旅生活与高度保密的专用车辆使用中，无线信号的安全与稳定成为了不可忽视的重要环节。为了有效...

潞晨科技尤洋：300 亿市值的... 作者｜朱可轩编辑｜陈彩娴作为2020年全球高性能计算领域在Google Scholar上引用次数...

OpenAI CEO宣示：AI... 美东时间9月23日，OpenAI首席执行官萨姆·奥特曼在其博客上发表题为“智能时代”的文章，预见了人...

时政微观察丨圆飞天揽月之梦 9月23日，习近平总书记在人民大会堂接见探月工程嫦娥六号任务参研参试人员代表，并参观月球样品和探月工...

如何挑选“不踩坑”的科普书，专... 科技日新月异的当下，通过科普阅读增长见识很重要，科普图书的质量更加重要。2024全国科普日活动之际，...

手机推荐排行：vivo X10... 大家好！总有几款手机以其卓越的性能、创新的设计以及丰富的功能脱颖而出，成为大家关注的焦点。今天我们就...

“国旗进校园爱国爱西安”主题... 2024年9月24日上午，由西安市档案局、档案馆主办，周至县档案局、档案馆、教育局协办，周至县新区小...

让项目更“智”更“新”更“绿” 右图：华启天成低空经济无人机产研项目基地内，技术人员正在对无人机进行测试。本报记者畅雪摄 ...

华为手机哪款性价比高质量好：... 大家好！选择一款性价比高且质量上乘的手机确实不容易。而华为作为国内乃至全球知名的手机品牌，其产品在...