[发明专利]一种混合式神经网络训练方法、系统、设备及存储介质

说明书

本发明公开了一种混合式神经网络训练方法、系统、设备及存储介质，属于机器学习算法领域。在本发明所提供的训练方案中，使用基于梯度下降的训练方法的梯度计算方法以及误差传递方法，同时采用训练过程中自适应可变步长的基于曼哈顿规则的训练方法更新网络权重，兼顾网络的网络预测准确率以及收敛速度，可达到相比于基于曼哈顿的神经网络训练算法的较快收敛速度以及基于随机梯度下降的训练算法的较高准确率。本发明所提供的混合式神经网络训练方式的复杂度低，收敛速度快，且能保证所训练的神经网络的网络预测准确率，更能适用于基于电阻式随机存取存储器ReRAM的神经网络计算电路的在线训练。

技术领域

本发明属于机器学习算法领域，具体涉及一种混合式神经网络训练方法、系统、设备及存储介质。

背景技术

基于新型非易失型存储器件的神经网络计算电路，如基于电阻式随机存取存储器ReRAM的神经网络计算电路，由于采用基于电阻式随机存取存储器ReRAM阵列的存算一体架构，相比于基于传统的CMOS(Complementary Metal-Oxide-Semiconductor)神经网络计算电路，具有更快的计算速度、更高的集成密度、更高的能效等优势。但是，现有的电阻式随机存取存储器ReRAM，即使通过反复的SET/RESET操作（SET指对电阻式随机存取存储器ReRAM施加一个正的写电压脉冲，使器件阻值减小；RESET指对电阻式随机存取存储器ReRAM施加一个负的写电压脉冲，使器件阻值增加。不同的电压脉冲对器件阻值改变的大小不同）写入以及读出并进行验证的方式，其代表网络权重的器件阻值也不能精确地调制到目标值，同时由于目前工艺并不成熟，阵列中存在部分的电阻式随机存取存储器ReRAM的器件阻值不可调（开路/短路故障）、器件阻值随环境温度改变以及电路噪声，网络权重将存在较大的误差，神经网络计算出现较大误差，最终使得神经网络的识别准确率偏低。本申请的发明人在实现本申请的技术方案时发现：通过在神经网络计算电路中引入闭环的神经网络训练算法，通过分析神经网络识别误差，自适应调整神经网络的权值即电阻式随机存取存储器ReRAM的器件阻值，对器件阻值进行自动修正，可有效提高识别准确率。

发明内容

本发明实施例提供了一种合式神经网络训练方法、系统、设备及存储介质，可用于提升神经网络的训练收敛速度，以及提高神经网络的预测准确率。

一方面，本发明实施例提供了一种混合式神经网络训练方法，包括下列步骤：

步骤1，获取待训练的神经网络模型；

步骤2，获取训练数据集，其中训练数据集的各训练数据包括训练样本的数据向量和样本标签，所述训练数据为图像数据或音频数据或文本数据；

步骤3，从训练数据集中读取当前的批数据，所述批数据包括至少一个训练数据；

步骤4，将批数据的各训练样本的数据向量分别输入神经网络模型，进行神经网络的前向推理运算，输出分类任务中每个类别的预测概率，从而得到当前批数据中的各训练样本的预测值；

步骤5，基于预设的损失函数计算当前批数据的训练样本的预测值与样本标签之间的损失值，若损失值大于或等于预设的损失阈值，则执行步骤6和7；否则执行步骤9；

步骤6，基于随机梯度下降法，计算神经模型的各网络层的权重梯度，若所述权重梯度小于预设的梯度阈值，则直接执行步骤9；若所述权重梯度大于或等于预设的梯度阈值，则基于各网络层的权重梯度的正负符号确定对应权重的梯度更新方向；

步骤7，确定当前的权重更新的步进值：

判断权重更新的步进值的更新间隔是否达到预设的间隔阈值，若否，则权重更新的步进值保持不变；若是，则将当前损失值与预设的至少两个损失取值段进行匹配，确定当前损失值所对应的损失取值段，并基于该损失取值段所对应的步进值，确定当前的权重更新的步进值；