[发明专利]用于人工神经网络的比特量化的方法和系统

说明书

本公开提供了一种人工神经网络的比特量化方法。所述方法可以包括：(a)在人工神经网络中选择待量化的一个参数或一个参数组；(b)比特量化以将所选参数或参数组的数据表示的大小减小到比特单位；(c)确定所述人工神经网络的精度是否等于或大于预定目标值；(d)当所述人工神经网络的精度等于或大于所述目标值时，重复步骤(a)至(c)。

技术领域

本公开涉及一种用于人工神经网络的比特量化的方法和系统，更具体地，涉及一种能够在保持人工神经网络的基本精度的同时减少存储使用的用于比特量化的方法和系统。

背景技术

人工神经网络是一种模拟生物大脑的计算机结构。在人工神经网络中，大脑中神经元对应的节点相互连接，且神经元之间突触耦合的强度用权重表示。人工神经网络通过人工神经元(节点)的训练，改变节点之间突触耦合的强度，从而构建具有给定问题解决能力的模型。

人工神经网络可以指多层感知机(multi-layer perceptron)，狭义上的一种前馈神经网络，但不限于此，而可能包括各种类型的神经网络，如径向基函数网络(radialbasis function network)、自组织网络(self-organizing network)和循环神经网络(recurrentneural network)。

近来，多层深度神经网络被广泛用作图像识别技术，且多层深度神经网络的一个代表示例是卷积神经网络(CNN)。在一般的多层前馈神经网络的情况下，输入数据仅限于一维形式，但如果将由两到三个维度组成的图像数据平坦化为一维数据，就会丢失空间信息，且在保持图像的空间信息的同时训练神经网络可能很困难。然而，卷积神经网络可以在保持二维(2D)或三维(3D)空间信息的同时训练视觉信息。

具体地，卷积神经网络在识别视觉数据的模式方面是有效的，因为它包括一个最大池化(Max-Pooling)过程，该过程在保持图像空间信息的同时有效识别相邻图像的特征，并收集和强化提取的图像的特征。然而，卷积神经网络等具有多层结构的深度神经网络使用深层结构来提供高识别性能，但其结构非常复杂，需要大量的计算和大量的存储。在多层深度神经网络中，内部发生的大部分操作都是使用乘法和加法或累加来执行的，人工神经网络中节点之间的连接数量很大，需要乘法的参数例如权重数据、特征图(feature map)数据、激活图(activation map)数据等都很大，因此在训练过程或识别过程中需要大量的计算。

发明内容

技术问题

如上所述，在卷积神经网络等多层深度神经网络的训练和识别过程中，需要大量的计算和存储。作为减少多层深度神经网络的计算量和存储量的方法，可以使用以比特为单位减小人工神经网络计算中使用的参数的数据表示大小的比特量化方法。传统的比特量化方法使用均匀比特量化，用相同的比特数对人工神经网络的所有参数进行量化，而传统的均匀比特量化方法存在的问题是不能准确反映对于在人工神经网络中使用的每个参数改变比特数对整体性能的影响。

本公开公开的实施方案旨在提供一种方法和系统，用于将构成人工神经网络的每个参数数据或根据特定标准分组的参数数据量化为特定比特数，从而能在提高人工神经网络的整体性能的同时保持人工智能的准确性。

解决问题的方法

根据本公开的实施方案，提供了一种用于量化人工神经网络的比特的方法。该方法包括以下步骤：(a)从人工神经网络中使用的多个参数中选择至少一个参数；(b)比特量化以将所选参数的操作所需的数据大小减小到比特单位；(c)确定人工神经网络的精度是否大于或等于预定目标值；(d)如果人工神经网络的精度大于或等于目标值，则对该参数重复执行步骤(b)到(c)，以进一步减少该参数的数据表示中的比特数。另外，该方法还包括步骤(e)如果人工神经网络的精度小于目标值，则将该参数的比特数恢复到人工神经网络的精度大于目标值时的比特数，然后重复步骤(a)到(d)。