微软新技术让大模型在手机上运行快5倍更高效更低耗_资讯

创始人

2024-08-12 18:01:55

0次

【太平洋科技快讯】近日，微软亚洲研究院发布了一项名为T-MAC的新技术，旨在优化大型模型在端侧设备上的部署。这项技术凭借其高性价比，使得仅凭CPU就能实现模型的快速运行，同时大幅降低资源消耗。

T-MAC技术亮点：手机运行大模型提速4-5倍

T-MAC技术使手机、PC、树莓派等端侧设备运行大型语言模型成为可能，解决了存储和计算两大难题。

通过基于查找表(LUT)的计算范式，T-MAC技术避免了传统方法中的反量化操作，提高了推理性能，降低了乘法和加法操作的数量。

在最新高通Snapdragon X Elite芯片组的Surface AI PC上，T-MAC技术的表现超越NPU，实现了高效的模型部署。

T-MAC技术核心创新：以比特为核心的计算

T-MAC技术采用查找表(LUT)代替传统的乘累加(MAC)计算，降低了CPU上的功耗，提高了计算效率。

以比特为核心的计算方式，简化了数据结构，实现了不同精度模型的快速部署。

T-MAC技术的计算性能随着比特数的降低而线性提高，这在基于反量化的GPU和NPU中是难以实现的。

T-MAC技术优化算子实现，提升端侧设备性能

研究员们针对T-MAC技术设计了高效的数据结构和计算流程，以提升端侧设备的计算性能。

通过优化矩阵分块、权重布局和寄存器重排等方法，T-MAC技术在多种CPU平台上实现了显著的性能提升。

实验结果表明，T-MAC技术在4比特算子上相较于现有方法获得了显著加速。

微软亚洲研究院已将T-MAC技术开源，相关论文已在arXiv公开。这一创新技术的推出，有望为端侧设备运行大型模型提供更多可能性，推动行业的发展。

新华全媒+丨浙江积极防御应对台... 今年第13号台风“贝碧嘉”逼近我国东部沿海。记者9月15日在浙江部分地区走访时了解到，目前各项防台风...

月圆人团圆——工人第一新村小学... 在这个秋风送爽、丹桂飘香的美好时节，金水区工人第一新村小学二年级的同学们迎来了一场别开生面的中秋主题...

“互联网模式”让东南亚咖啡市场... 科技无界，但也有着自己的独特进程。这里，动点出海将和大家一起回顾本周（2024.09.09-2024...

加固大棚、抢修线路，国网上海超... 9月16日7时30分，今年第13号台风“贝碧嘉”在上海浦东临港新城登陆，登陆时中心附近最大风力14级...

国内最大双臂架变幅式起重船“二... 9月13日，由中交二航局投资，上海振华重工建造的国内最大双臂架变幅式起重船“二航卓越”顺利完工，中交...

2024油气田勘探与开发国际会... 9月12日，由西安石油大学等主办的“2024油气田勘探与开发国际会议（IFEDC）”在西安举行。本...

多国科学家联合倡议启动“人类基... 在“人类基因组计划”完成21年之后，由中国科学家发起，十多个国家科研人员日前联合在学术期刊《细胞研究...

智慧康养新万亿产业已至作为一年一度服贸会的“标配”，9月15日，深蓝智库年度论坛系列活动——2024智慧康养前沿论坛在首钢...

《Science Advanc... 在追求卓越学术的道路上，我校再次传来喜讯——我校物理与能源学院博士研究生郑嵩同学，以第一作者身份在国...

瑞枫股份取得一项专利，提高设备... 金融界 2024 年 9 月 14 日消息，天眼查知识产权信息显示，山东瑞枫农林科技股份有限公司取得...

上海中心大厦：观光厅将根据台风... 台风“贝碧嘉”正在逼近上海，有中国第一高楼之称的上海中心大厦，如何防御台风？记者从上海中心大厦运营...

大耀斑爆发，明后天可能影响地球... 国家空间天气监测预警中心15日介绍，北京时间9月14日23时29分，太阳活动区13825爆发了一次明...

跳舞、取药、书法样样行！来服贸... 极目新闻记者康旭阳机器人跳舞、写字、取药……在2024年中国国际服务贸易交易会（以下简称服贸会）...

提升科学素质激发创新自信从人工合成淀粉到中国散裂中子源，从夸父高动态人形机器人到高温气冷堆，从“地壳一号”到“奋斗者”号……...

国庆前，几乎一周一个台风影响我... 台风贝碧嘉还没走普拉桑又来了，一个周一个台风？恐怕是的。在稳定副热带高压系统引导下，台风“普拉桑”...

紧抓AI浪潮机遇，海淀这一产业... 在2024服贸会“北京日”暨京津冀协同招商推介大会上，中关村科学城管委会副主任、海淀区副区长唐超针对...

原创何... 2024年9月15日，“IT之家”得到了一个好消息：工业和信息化部于 9 月 9 日印发《首台（套）...

浙江美格申请凹版印刷机维护保养... 金融界 2024 年 9 月 14 日消息，天眼查知识产权信息显示，浙江美格机械股份有限公司申请一项...

原创 i... 从现在的情况看国内iPhone 16系列除了Max版本一机难求之外，其它三个版本目前都是正常的状态。...

添加显著标识，防止AI生成内容... 我们每天上网看到的海量图文、视频，有多少是人工智能生成合成的？如何准确分辨AI文章、AI图片、AI视...