金融界2023年12月29日消息,据国家知识产权局公告,华为技术有限公司申请一项名为“模型训练方法、装置、系统及相关设备“,公开号CN117312839A,申请日期为2022年9月。
专利摘要显示,提供一种模型训练方法,包括:获取待训练的AI模型并确定多个通信域;在每轮训练AI模型的过程中,利用每个通信域对应的局部梯度数据更新AI模型,其中,每个通信域对应的局部梯度数据根据该通信域中的多个设备分别生成的梯度数据进行梯度融合得到,并且,当间隔多轮训练AI模型时,利用全部梯度数据更新每个通信域分别训练的AI模型,该全部梯度数据根据多个通信域中的梯度数据进行梯度融合得到。如此,由于每间隔多轮训练才会利用所有设备训练AI模型所生成的梯度数据更新AI模型,这可以缓解部分通信域在一段时间内训练AI模型的进度较低导致AI模型的整体训练进度被拉低的问题,从而能够提高AI模型的整体训练效率。
来源:金融界