时擎智能科技取得一项专利，可降低系统功耗_资讯

时擎智能科技取得一项专利，可降低系统功耗

创始人

2024-08-22 03:41:53

金融界 2024 年 8 月 20 日消息，天眼查知识产权信息显示，时擎智能科技（上海）有限公司取得一项名为“一种大型语言模型的权重压缩处理系统及装置“，授权公告号 CN118333128B，申请日期为 2024 年 6 月。

专利摘要显示，本发明提供了一种大型语言模型的权重压缩处理系统及装置，涉及大型语言模型技术领域，系统主要包括：离群值加载模块、第一缓存模块、离群值分发模块、压缩系数加载模块、第二缓存模块、第一系数分发网络模块、查找表阵列模块、第二系数分发网络模块、定点运算阵列模块、第二缓存阵列模块、浮点运算阵列模块、第三系数分发网络模块、输入矩阵加载模块、第一缓存阵列模块及输入分发网络模块。本方案可以有效支持各种权重压缩方法，可以有效减少中间结果的搬运量及数据吞吐量，可以有效降低系统功耗，进而能够适应端侧大型语言模型的应用需求。

来源：金融界

上一篇：2024上海书展 | AI时代如何通过阅读激活好奇心与探索欲

下一篇：博州：储粮保质保鲜这些“神器”是关键

时擎智能科技取得一项专利，可降低系统功耗

相关内容

热门资讯