金融界 2024 年 8 月 20 日消息,天眼查知识产权信息显示,时擎智能科技(上海)有限公司取得一项名为“一种大型语言模型的权重压缩处理系统及装置“,授权公告号 CN118333128B,申请日期为 2024 年 6 月。
专利摘要显示,本发明提供了一种大型语言模型的权重压缩处理系统及装置,涉及大型语言模型技术领域,系统主要包括:离群值加载模块、第一缓存模块、离群值分发模块、压缩系数加载模块、第二缓存模块、第一系数分发网络模块、查找表阵列模块、第二系数分发网络模块、定点运算阵列模块、第二缓存阵列模块、浮点运算阵列模块、第三系数分发网络模块、输入矩阵加载模块、第一缓存阵列模块及输入分发网络模块。本方案可以有效支持各种权重压缩方法,可以有效减少中间结果的搬运量及数据吞吐量,可以有效降低系统功耗,进而能够适应端侧大型语言模型的应用需求。
来源:金融界