[发明专利]自适应的神经网络训练与推理装置

权利要求书

1.一种自适应的神经网络训练与推理装置，其特征在于，包括：

深度学习处理引擎阵列，包括激励函数模块和多个构成阵列的处理单元，用于执行神经网络的训练与推理；

存储模块，用于存储在训练与推理过程中神经网络每层的输出数据、神经网络每层的激励函数的求导值、神经网络每层的权重值以及训练样本，以供所述深度学习处理引擎阵列调用；

自动更新控制模块，用于控制所述深度学习处理引擎阵列执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。

2.根据权利要求1所述的神经网络训练与推理装置，其特征在于，所述自动更新控制模块包括置信度监测模块、更新次数间隔计数模块以及更新判断模块，其中，

所述置信度监测模块用于监测通过计算获得的网络输出的置信度，并向更新判断模块输出所述置信度；

所述更新次数间隔计数模块用于监测前次网络参数的更新后神经网络的运行次数，并向更新判断模块输出所述运行次数；

所述更新判断模块用于判断所述置信度是否低于第一置信度阈值以及所述运行次数是否大于次数阈值，若所述置信度低于第一置信度阈值或所述运行次数大于次数阈值，控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。

3.根据权利要求2所述的神经网络训练与推理装置，其特征在于，所述存储模块包括训练样本存储模块、权重存储模块、数据存储模块、求导存储模块、数据存储控制模块以及权重存储控制模块，

其中，所述训练样本存储模块用于存储训练样本；所述数据存储模块用于存储训练与推理过程中神经网络每层的输出数据；所述权重存储控制模块用于存储神经网络每层的权重值；所述求导存储模块用于存储神经网络每层的激励函数的求导值；所述数据存储控制模块用于在所述更新判断模块的控制下调用所述数据存储模块和求导存储模块分别与所述深度学习处理引擎阵列进行数据传输；所述权重存储控制模块用于在所述更新判断模块的控制下调用所述权重存储控制模块供所述深度学习处理引擎阵列进行权重的读写。

4.根据权利要求3所述的神经网络训练与推理装置，其特征在于，所述深度学习处理引擎阵列还包括激励函数求导模块。

5.根据权利要求4所述的神经网络训练与推理装置，其特征在于，所述自动更新控制模块还包括电源门控与时钟门控复合模块，所述电源门控与时钟门控复合模块用于分别控制所述数据存储模块和激励函数求导模块在前向传播推理过程中停止上电运行。

6.根据权利要求2所述的神经网络训练与推理装置，其特征在于，若所述置信度低于第一置信度阈值超出预设比例或所述运行次数大于次数阈值，所述更新判断模块控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。

7.根据权利要求2所述的神经网络训练与推理装置，其特征在于，在前向传播推理或反向传播训练过程中，所述数据存储模块中当前层的数据通过覆盖前一层的数据进行存储。

8.根据权利要求3所述的神经网络训练与推理装置，其特征在于，所述置信度监测模块还用于从网络输入和网络输出中筛选置信度高于第二置信度阈值的数据作为训练样本，存入所述训练样本存储模块。

9.根据权利要求1所述的神经网络训练与推理装置，其特征在于，所述神经网络的前向传播推理过程中，当前层的第j个神经元的输入x_j为：

x_j＝f(∑_iW_ijx_i)；

其中，x_i为上一层的第i个神经元的输出，W_ij为上一层的第i个神经元至当前层的第j个神经元的权重，f(·)为激活函数。

10.根据权利要求1所述的神经网络训练与推理装置，其特征在于，所述神经网络的反向传播训练过程中，当前层的第j个神经元对应的反向误差δ_j为：

δ_j＝(∑_kW_jkδ_k)f′(∑_iW_ijx_i)；

其中，δ_k为下一层第k个神经元对应的反向误差，W_jk为当前层的第j个神经元至下一层的第k个神经元的权重，W_ij为上一层的第i个神经元至当前层的第j个神经元的权重，x_i为上一层的第i个神经元的输出，f(·)为激活函数，f′(·)是激活函数的偏导。