华为人工智能模型量化相关专利公布 可减少AI内存占用
创始人
2025-02-07 16:40:39

【CNMO科技消息】天眼查App显示,近日,华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利公布。

摘要显示,量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度,将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理,以得到量化后的分块量化矩阵,并存储在存储器中,可以减少AI模型占用的内存。量化矩阵可以是权重矩阵,也可以是激活矩阵。量化单元量化过程中,是基于运行AI模型的计算设备的各个计算单元的处理粒度进行量化,并不需要基于张量级别进行离群值的统计,实现AI模型对权重矩阵和激活矩阵都可以进行实时量化。

天眼查信息

而在今年1月底,国家知识产权局信息显示,华为技术有限公司还申请一项名为“一种数据处理方法及相关设备”的专利,申请日期为2024年9月。

根据介绍,该专利申请提供了一种数据处理方法及相关设备,涉及人工智能领域,能够降低模型训练过程的存储空间的开销,提高模型训练的性能。在该方法中,第一装置通过第一模型对第一数据进行前向计算,得到第二数据,该第一模型为神经网络模型,该第一数据的位数和该第二数据的位数为第一值;第一装置对该第二数据进行量化,得到第三数据,该第三数据的位数为第二值,该第二值小于该第一值;第一装置保存该第三数据,保存的该第三数据用于该第一模型的反向计算。

相关内容

热门资讯

梦幻西游冯总讲述第一谛听交易细... 梦幻西游珍宝阁“第一谛听”流出团队一事引发广泛关注,部分粉丝质疑团队无人接手。随着讨论不断升温,团队...
警惕!个别致癌物超标!这种一次... 近些年,可降解一次性杯子由于环保、洁净的理念,呈现出快速增长的消费趋势。但有消费者反映,市场上一次性...
隆泰迪取得高速激光熔覆设备专利... 国家知识产权局信息显示,沧州隆泰迪管道科技有限公司取得一项名为“一种高速激光熔覆设备”的专利,授权公...
梦幻西游全服第一16技能谛听成... 自梦幻西游大佬高总宣布暂别赛场后,其手下的两只神兽去向便备受关注。据悉,高总那只全服独一无二的16技...
《失落星船:马拉松》试玩报告:... “欢迎来到天仓五Ⅳ。” 时隔大半年,我再次见到了《失落星船:马拉松》。 我在前几日有幸前往线下,参加...