华为新专利:AI模型量化技术,助力内存占用大幅缩减
创始人
2025-02-07 14:42:19

华为技术有限公司在人工智能领域再添新专利,一项名为“人工智能模型的量化方法、处理系统和量化单元”的专利近日正式公布。该专利揭示了华为在优化AI模型运行效率方面的又一重要进展。

据专利摘要介绍,该量化方法的核心在于量化单元能够智能地根据运行AI模型的计算设备的不同计算单元处理粒度,将量化矩阵分割成多个适配的分块量化矩阵。这一过程不仅精细且高效,能够大幅度减少AI模型对内存的占用。无论是权重矩阵还是激活矩阵,量化单元都能基于计算设备的实际处理能力进行实时量化,无需依赖传统的张量级别离群值统计。

进一步地,量化单元会对这些分块量化矩阵进行量化处理,并将处理后的结果存储在存储器中。这一创新不仅优化了AI模型的内存使用,还提升了整体运行效率,为AI技术在更多场景下的应用提供了有力支持。

华为在数据处理方法及相关设备方面也取得了新突破。国家知识产权局信息显示,华为于2024年9月申请了一项名为“一种数据处理方法及相关设备”的专利,并于今年1月底公布相关信息。该专利旨在降低模型训练过程中的存储空间开销,同时提升模型训练性能。

具体而言,该专利提出了一种创新的数据处理方法。在这一过程中,第一装置利用神经网络模型对第一数据进行前向计算,得到第二数据。随后,该装置对第二数据进行量化处理,得到位数更少的第三数据。这一量化步骤有效降低了数据的存储需求。最终,第一装置保存这些量化后的第三数据,这些数据将在后续的第一模型反向计算中发挥关键作用。

华为在人工智能领域的持续创新,不仅体现了其在技术研发上的深厚实力,也为推动AI技术的广泛应用和发展做出了重要贡献。随着这些新专利的实施和应用,我们有理由相信,华为将在人工智能领域取得更多突破性的成果。

相关内容

热门资讯

运营了17年的MMO,把新手村... 用不一样的方式讲故事。 文/青晖 《剑网3》里有个地方叫稻香村,是个新手村,每个玩家进入江湖的第一站...
原创 L... LOL选手比赛中发生重大失误,赛后连连道歉,发誓自己没有打假赛,这波操作,说实话,用“离谱”形容都不...
原创 梦... 梦幻西游2026春心萌动活动已于昨日12点开启全服投票,仅一天时间,男榜便呈现“神仙打架”的激烈态势...
《沙罗周期》评测9.2分:怒海... “硬核玩法设计教科书” 《沙罗周期》是Housemarque在《死亡回归》问世6载后,推出的又一款“...
原创 哪... 大家好我是指尖,哪吒的新皮肤已经全面曝光,不知道大家看过之后的感受如何,我只能说吸引力拉满了,想必很...