[发明专利]一种神经网络异构量化训练方法

说明书

本发明提供一种神经网络异构量化训练方法，属于人工神经网络技术领域，本发明在传统基于CPU或GPU或二者结合的训练架构基础上，添加高速接口逻辑，通过高速接口逻辑连接硬件计算加速模块，训练过程中间特定的某一步或几步计算过程下放至所述硬件计算加速模块，计算完成后结果经所述高速接口逻辑返回至源训练主控，完成具有特定定制功能的训练过程。将前沿新结构或新算法快速实现并部署到训练中，提高系统灵活性，降低存储与带宽需求，减少正向预测过程中资源需求，降低训练复杂度，提高训练效率，保证当前训练装置能较好适应最新的神经网络结构。

技术领域

本发明涉及人工神经网络技术领域，尤其涉及一种神经网络异构量化训练方法。

背景技术

神经网络训练将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整权值。训练过程包括：定义神经网络的结构和前向传播的输出结果，求出结果与期望值的误差，再将误差一层一层的返回，然后进行权值更新。通过训练样本和期望值来调整网络权值。

CPU擅长逻辑控制、串行运算与通用类型数据运算，GPU侧重处理大规模并行计算多重任务。CPU与GPU在各自领域都可以高效地完成任务，亦可作为当前神经网络训练的主流方式。

随着研究深入，越来越多的新结构，新算法不断被提出，给通用CPU、GPU训练方式带来了更高要求与挑战，特定的细节结构难以快速实现，训练时间可能变得更加冗长。

发明内容

为了解决以上技术问题，本发明提出了一种神经网络异构量化训练方法。采用异构方式对原有训练过程进行加速，能将前沿新结构，如特种卷积类型等，或新算法，如模型参数量化等，快速实现并部署到训练中，提高系统灵活性，降低存储与带宽需求，减少正向预测过程中资源需求，降低训练复杂度，提高训练效率，保证当前训练装置能较好适应最新的神经网络结构。

本发明的技术方案是：

一种神经网络异构量化训练方法，在传统基于CPU或GPU或二者结合的训练架构基础上，添加高速接口逻辑，通过高速接口逻辑连接硬件量化加速模块，在训练过程中添加量化步骤，将模型参数与特征图结果的量化计算过程下放至所述硬件量化加速模块，将量化计算完成后的结果经所述高速接口逻辑返回至源训练主控，更新量化后的模型参数，迭代完成具有模型参数与特征图结果量化功能的训练过程。

进一步的，所述硬件量化加速模块负责完成神经网络模型参数与神经网络特征图结果的低比特位量化，由专用电路实现，与传统的训练主体CPU或GPU构成异构结构。

进一步的，所述数据量化操作包括：数据暂存，数据统计排序，数据压缩与解压缩，数据哈希与查表，浮点数转特定位数定点数，浮点数移位缩放与截取，数据逆量化等。

所述特定定制功能包括但不限于：模型参数量化，浮点数转定点数，特殊的卷积操作，如膨胀卷积、deep-wise卷积，1x1乘法器阵列，全连接乘加器阵列等；所述特定定制功能由所述硬件计算加速模块实现，训练过程中可能多次或仅一次使能该模块，完成特定功能。

具体包括以下步骤：

1)在传统基于CPU或GPU训练框架下，设置神经网络模型参数与超参数初始值，同时初始化硬件量化加速模块，开始训练；

2)首轮反向传播更新完神经网络最后一层参数后，将更新后的权重参数传入所述硬件量化加速模块，经过如GZIP或熵编码等通用数据压缩方法对权重参数进行初次压缩并存储，然后对数据进行统计排序，根据期望的定点位数对数据进一步移位与截取，并限定数据最大值与最小值，得到量化后的权重参数，传回传统框架中继续进行反向传播的前一层参数更新，直到完成首轮反向传播，得到全部权重参数；

3)重复步骤2对权重进行更新，完成多轮反向传播，直到达到模型Loss要求，完成训练；

4)除权重参数外，神经网络各层特征图结果也可进行量化操作，以对整个模型推理进行进一步量化；