[发明专利]对神经网络系统中的数据处理方法和神经网络系统

说明书

本申请提供了一种对神经网络系统中的数据处理方法和处理装置，应用于人工智能领域的神经网络系统中。该方法能够根据目标量化位宽以及待量化的权重值集合中的权重值的范围，确定量化方式，并根据确定的量化方式对待量化的权重值集合中的权重值进行量化。其中，待量化的权重值集合包括神经网络系统中的多个卷积核组中的一个卷积核组的初始权重值，所述卷积核组包括不同卷积层中的多个卷积核，或包括同一卷积层中的部分卷积核，并基于量化后的权重值集合中的权重值对输入神经网络系统中的数据进行计算。该方法能够提升神经网络系统中进行低位宽量化后的数据精度。

技术领域

本申请涉及神经网络领域，尤其涉及对神经网络系统中的数据处理方法和神经网络系统。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。深度学习(deep learning，DL)作为人工智能一个重要分支，得到了学术界和工业界广泛关注和深入的研究，不仅产生了许多理论创新成果，在产业界也有很多实际应用，诸如图像处理、语音识别、运动分析等等。深度学习是为了模仿人脑构造的一种神经网络，可以达到比传统的浅层学习方式更好的识别效果。

性能较好的神经网络通常包括规模较大的模型参数，因而计算复杂度较高。因此，对神经网络进行压缩和加速变得非常重要。而通过有效的低位宽权重量化方法，在精度损失尽可能低的前提下降低权重矩阵的位宽，可以有效压缩模型，降低神经网络的存储量。因此，如何在降低权重的位宽的情况下保证量化后的数据的精度，是神经网络技术领域亟待解决的问题。

发明内容

本申请提供一种对神经网络系统中的数据处理方法和神经网络系统，能够提升神经网络系统中量化后的数据的精度。

第一方面，提供了一种对神经网络系统中的数据处理方法，包括：根据目标量化位宽以及第一初始权重值集合中的权重值的范围，确定第一量化方式，其中，所述第一初始权重值集合包括所述神经网络系统中的多个卷积核组中的第一卷积核组的初始权重值，所述第一卷积核组包括一个或多个卷积核，所述第一卷积核组包括不同卷积层中的多个卷积核，或包括同一卷积层中的部分卷积核；根据所述第一量化方式，对所述第一初始权重值集合中的权重值进行量化，以获得所述第一卷积核组的第一目标权重值集合；根据所述第一目标权重值集合中的权重值对输入所述神经网络系统的数据进行计算。

在本申请实施例中，可以将神经网络的多个卷积核划分为多个卷积核组，同一卷积核组中的卷积核可以来自不同卷积层或者只包括同一卷积层中的部分卷积核，从而通过在量化过程中对卷积核进行灵活的分组，并根据每个卷积核组的权重分布，分别确定量化方式，使卷积核组在量化时不受卷积层的限制，并且可以针对不同的卷积核组确定各自的量化方式，从而能够更有针对性的对卷积核或卷积核组进行量化，以充分利用卷积核组的权重空间长度进行量化，能够在进行低位宽量化时，提升神经网络系统中量化后的数据精度。并且，由于根据本申请实施例提供的权重处理方法处理后的权重值的精度有了提高，所述神经网络系统基于所述第一目标权重值集合中的权重值对输入的数据进行计算后得到的输出数据的准确性更高。

结合第一方面，在一种可能的实现方式中，所述第一卷积核组包括权重分布相近的多个卷积核。

在本申请实施例中，通过将权重分布相近的卷积核划分在同一卷积核组中，针对不同的卷积核组确定各自的量化方式，从而能够更有针对性的对卷积核或卷积核组进行量化，提高权重表达能力，降低量化过程中的精度损失，提高量化后的数据精度。