[发明专利]神经网络的训练方法、装置及设备

说明书

本发明提供一种神经网络的训练方法、装置及设备、存储介质，可更好地保证结果的精度与特征图的稀疏度。该方法包括：将样本数据输入至第一神经网络中，得到第一神经网络输出的预测标签、以及第一神经网络的至少一个指定处理层输出的特征图，特征图是在第一神经网络确定预测标签的过程中输出的，特征图包含多个特征值；依据预测标签与样本数据对应的样本标签并采用预设的损失函数确定损失值，损失值用于表征预测标签与样本标签之间的差异；依据特征图确定用于表征特征图的稀疏度的稀疏度值；依据损失值与稀疏度值确定用于优化第一神经网络的优化参数值；依据优化参数值优化第一神经网络得到第二神经网络。

技术领域

本发明涉及人工智能技术领域，尤其涉及的是一种神经网络的训练方法、装置及设备。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是人工智能领域的研究热点，它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络，在工程与学术界也常直接简称为神经网络或类神经网络。神经网络通常会部署到芯片中，可用于实现图像处理，包括目标检测(Object Detection)、图像分类(Image Classification)、图像识别等方面。芯片在调用神经网络实现图像处理时需要占用较大的带宽，而且计算量也比较大，这对于芯片来说是主要的瓶颈。

通常来说，通过神经网络将特征图进行稀疏处理，可以有效地减少芯片的带宽，也能带来计算量的节省。比如，在神经网络的某一处理层得到特征图(特征图尺寸比如为c*w*h，c为通道数，w为宽度，h为高度，一个特征值用32bit表示，则数据量比如为c*w*h*32)后，需要将特征图存储到指定缓存中，由下一处理层从指定缓存中读取该特征图，芯片总线一存一取所需传输的数据量就是2*c*w*h*32，所需的带宽较大，通过稀疏处理，将需存储的特征图中一些特征值置0，采用压缩存储的方式则特征图中大小为0的特征值不需要进行存储，就不占用带宽了，可以减少带宽。

相关方式中，神经网络通常根据人为输入的稀疏参数对特征图进行稀疏，稀疏的方式比如有：1)稀疏参数为稀疏阈值，将特征图中小于稀疏阈值的特征值置0；2)稀疏参数为稀疏率，按照从大到小的顺序将特征图中的特征值进行排序，依据稀疏率将排在尾部的特征值置0，从而减少特征图中需被存储的数据量，也就降低了数据存取所需的带宽。

该方式中，采用人为输入的稀疏参数对特征图进行稀疏处理，往往会引起特征图中关键信息的损失，比如目标检测场景下，会损失目标信息，导致结果的精度降低。

发明内容

有鉴于此，本发明提供一种神经网络的训练方法、装置及设备、存储介质，可更好地保证结果的精度与特征图的稀疏度。

本发明第一方面提供一种神经网络的训练方法，包括：

将样本数据输入至第一神经网络中，得到第一神经网络输出的预测标签、以及所述第一神经网络的至少一个指定处理层输出的特征图，所述特征图是在所述第一神经网络确定所述预测标签的过程中输出的，所述特征图包含多个特征值；

依据所述预测标签与所述样本数据对应的样本标签并采用预设的损失函数确定损失值，所述损失值用于表征所述预测标签与所述样本标签之间的差异；

依据所述特征图确定用于表征所述特征图的稀疏度的稀疏度值；

依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值；

依据所述优化参数值优化所述第一神经网络得到第二神经网络。

根据本发明的一个实施例，所述依据特征图确定用于表征所述特征图的稀疏度的稀疏度值，包括：

按照设定变换方式将特征图中每一特征值修改为对应的变换值；其中，所述设定变换方式中，特征值的绝对值越大，则对应的变换值越大，特征值为0，则对应的变换值为设定最小值；