金融界2024年3月26日消息,据国家知识产权局公告,华为技术有限公司申请一项名为“一种模型训练方法、模型确定方法以及装置“,公开号CN117764147A,申请日期为2023年9月。
专利摘要显示,本申请提供一种人工智能领域的模型训练方法、模型确定方法以及装置,用于对基于两次量化得到的多个不同精度的量化模型进行训练,得到训练后的混合比特超网络,通过存储最高比特量化模型,从而减小存储模型占用的内存大小。该方法包括:获取第一量化模型,第一量化模型为对全精度神经网络模型的参数进行量化得到的;对第一量化模型的参数进行量化,得到第二量化模型,第一量化模型的第一量化比特大于第二量化模型的第二量化比特;通过对第一量化模型和第二量化模型进行训练,得到训练后的混合比特超网络,训练后的混合比特超网络中包括多个子网络,多个子网络包括对第一量化模型和第二量化模型进行训练得到。
来源:金融界