金融界2024年1月31日消息,据国家知识产权局公告,清华大学申请一项名为“分层确定神经网络量化模式的方法、系统、设备和介质“,公开号CN117474052A,申请日期为2023年11月。
专利摘要显示,提供分层确定量化神经网络模型的量化模式的方法、系统、电子设备和非暂时存储介质。方法包括按神经网络模型的层为单位利用多个量化模式中的第j种量化模式来量化神经网络模型的第i层的输入向量和该层的权重参数,其中所述神经网络模型是利用第一数据集训练来得到的,其中i,j是正整数;利用第二数据集推理得到影响矩阵P[i][j],其中所述影响矩阵P[i][j]表示用来量化所述第i层的所述第j种量化模式对所述神经网络模型的损失函数的影响;求解在代价矩阵W[i][j]在所有层的总和小于代价限制的情况下、使得所述影响矩阵P[i][j]在所有层的总和最小的第j种量化模式作为第i层的量化所采用的量化模式,其中所述代价矩阵W[i][j]表示第j种量化模式作为第i层的量化所消耗的计算代价。
来源:金融界