[发明专利]一种神经网络异构量化训练方法

权利要求书

1.一种神经网络异构量化训练方法，其特征在于，

在传统基于CPU或GPU或二者结合的训练架构基础上，添加高速接口逻辑，通过高速接口逻辑连接硬件量化加速模块，在训练过程中将模型参数与特征图结果的量化计算过程下放至硬件量化加速模块，将量化计算完成后的结果经所述高速接口逻辑返回至源训练主控，更新量化后的模型参数，迭代完成具有模型参数与特征图结果量化功能的训练过程；

具体步骤如下：

1）在传统基于CPU或GPU训练框架下，设置神经网络模型参数与超参数初始值，同时初始化硬件量化加速模块，开始训练；

2）首轮反向传播更新完神经网络最后一层参数后，将更新后的权重参数传入所述硬件量化加速模块，经过数据压缩方法对权重参数进行初次压缩并存储，然后对数据进行统计排序，根据期望的定点位数对数据进一步移位与截取，并限定数据最大值与最小值，得到量化后的权重参数，传回传统框架中继续进行反向传播的前一层参数更新，直到完成首轮反向传播，得到全部权重参数；

3）重复步骤2）对权重进行更新，完成多轮反向传播，直到达到模型Loss要求，完成训练；

除权重参数外，神经网络各层特征图结果也可进行量化操作，以对整个模型推理进行进一步量化；

根据需要，可对权重数据进行哈希运算得到索引值，对数据进行进一步压缩，或在量化完成后立即进行数据逆量化，降低量化损失。

2.根据权利要求1所述的方法，其特征在于，

所述硬件量化加速模块负责完成神经网络模型参数与神经网络特征图结果的低比特位量化。

3.根据权利要求2所述的方法，其特征在于，

所述硬件量化加速模块由电路实现，与传统的训练主体CPU或GPU构成异构结构。

4.根据权利要求1所述的方法，其特征在于，

所述数据量化操作包括：数据暂存，数据统计排序，数据压缩与解压缩，数据哈希与查表，浮点数转特定位数定点数，浮点数移位缩放与截取，数据逆量化。

5.根据权利要求1所述的方法，其特征在于，

所述硬件量化加速模块采用FPGA或ACAP通过逻辑配置实现，外接非易失存储器件，不同定制功能可同时存储，按训练需求对FPGA或ACAP进行实时配置，完成同一训练过程中的不同功能。

6.根据权利要求1所述的方法，其特征在于，

所述高速接口逻辑可采用PCIE接口、USB3.0接口或万兆以太网接口实现，与原有训练主控进行通信交互。