微软新技术让大模型在手机上运行快5倍更高效更低耗_资讯

创始人

2024-08-12 18:01:55

0次

【太平洋科技快讯】近日，微软亚洲研究院发布了一项名为T-MAC的新技术，旨在优化大型模型在端侧设备上的部署。这项技术凭借其高性价比，使得仅凭CPU就能实现模型的快速运行，同时大幅降低资源消耗。

T-MAC技术亮点：手机运行大模型提速4-5倍

T-MAC技术使手机、PC、树莓派等端侧设备运行大型语言模型成为可能，解决了存储和计算两大难题。

通过基于查找表(LUT)的计算范式，T-MAC技术避免了传统方法中的反量化操作，提高了推理性能，降低了乘法和加法操作的数量。

在最新高通Snapdragon X Elite芯片组的Surface AI PC上，T-MAC技术的表现超越NPU，实现了高效的模型部署。

T-MAC技术核心创新：以比特为核心的计算

T-MAC技术采用查找表(LUT)代替传统的乘累加(MAC)计算，降低了CPU上的功耗，提高了计算效率。

以比特为核心的计算方式，简化了数据结构，实现了不同精度模型的快速部署。

T-MAC技术的计算性能随着比特数的降低而线性提高，这在基于反量化的GPU和NPU中是难以实现的。

T-MAC技术优化算子实现，提升端侧设备性能

研究员们针对T-MAC技术设计了高效的数据结构和计算流程，以提升端侧设备的计算性能。

通过优化矩阵分块、权重布局和寄存器重排等方法，T-MAC技术在多种CPU平台上实现了显著的性能提升。

实验结果表明，T-MAC技术在4比特算子上相较于现有方法获得了显著加速。

微软亚洲研究院已将T-MAC技术开源，相关论文已在arXiv公开。这一创新技术的推出，有望为端侧设备运行大型模型提供更多可能性，推动行业的发展。

原创荣... 可能是因为前段时间618国补额度使用的太快，导致多地国补均暂停发放了，不少人还以为国补没有了，当时阿...

永华铝塑取得切割落料装置专利，... 金融界2025年6月21日消息，国家知识产权局信息显示，绍兴市永华铝塑制品有限公司取得一项名为“一种...

贵州航天林泉电机取得端环辅助涂... 金融界2025年6月21日消息，国家知识产权局信息显示，贵州航天林泉电机有限公司取得一项名为“一种端...

海南金红叶纸业取得造纸用节电混... 金融界2025年6月21日消息，国家知识产权局信息显示，海南金红叶纸业有限公司取得一项名为“一种造纸...

绿芯智能项目引领全球创新，推出... 在全球科技与能源产业深度变革的浪潮中，绿芯智能项目以其前沿的创新理念与强大的技术实力脱颖而出。近日，...

区委书记常卫带队赴爱尔兰、英国... 6月15日至21日，区委书记常卫带队赴爱尔兰、英国，聚焦人工智能、数字科技、未来信息等前沿技术领域，...

5G-A，联通用AI帮你这么玩... 2025 MWC上海刚刚闭幕，恰逢5G-A商用满一周年，同时AI入端发展一年有余，5G-A×AI的融...

鸿蒙生态加速落地，华为擎云锚定... 面世两年多后，作为华为终端旗下商用品牌，华为擎云正以“鸿蒙之力”，重塑终端商用市场新格局。在数字化...

亚信科技亮相2025MWC上海... 6月18至20日，亚信科技作为领先的信息技术产品与服务提供商，携数十项软硬件产品、解决方案和案例实践...

在 HDC，华为给每个「走得慢... 在东莞松山湖湖畔，有一场持续了四年的特别对话。这里没有产品发布，也没有技术布道，取而代之的是一群不那...

假如一立方厘米的黑洞靠近地球，... 想象一下，某天你正悠闲地走在大街上，突然，科学家们发出紧急通知：一个仅有一立方厘米大小的黑洞，正朝着...

莲湖区教育系统组织开展爱鸟护鸟... 近期，西安市莲湖区教育系统积极组织开展了“守护蓝天精灵，共筑生态家园”主题爱鸟护鸟系列班会活动，进一...

蜂巢能源取得电池模组及电池包专... 金融界2025年6月21日消息，国家知识产权局信息显示，蜂巢能源科技股份有限公司取得一项名为“电池模...

原创 “... 梦舟飞船是中国新一代的载人登月飞船，代表着中国航天技术的巨大飞跃。2023年6月17日，梦舟飞船在酒...

中国科技，需要鸿蒙的狂飙故事一套面向未来的系统生态，从破土而出，到蔚然成荫到底可以有多快？ 635天！这是HarmonyOS给...

5G-A“夸父”问世：人形机器... 在ChatGPT引领生成式人工智能浪潮三年后，具身智能的概念逐渐升温，其中人形机器人作为具身智能的高...

华为大动作，生活场景将迎新变革【大河财立方记者陈薇文李博摄影】6月18日—20日，2025上海世界移动通信大会（MWC上...

英国研发新型机器人皮肤新华社北京6月21日电英国研究人员近期研发出一种由柔软且低成本的凝胶材料制成的新型机器人皮肤，可同...

史上最长618，头部主播缘何甘... 文/科技说说今年的618，堪称“史上最长”，从5月13日启动，至6月20日结束，其长达39天的超长...

服务器虚拟化技术解析：让资源利... 在信息技术飞速发展的今天，服务器虚拟化技术已经成为数据中心和IT基础设施管理中不可或缺的一部分。这项...