[发明专利]一种用于对待量化数据进行定点化处理的方法及计算装置

说明书

本公开提供了一种用于对待量化数据进行定点化处理的方法及计算装置。所述方法包括：接收待量化数据，所述待量化数据为浮点型格式；根据所述待量化数据的分布确定所述待量化数据要采用的最优量化步长；根据所述最优量化步长确定定点型格式，所述定点型格式包括符号位位数、整数位位数和小数位位数；以及利用所述定点型格式对所述待量化数据进行定点化处理，以获得具有所述定点型格式的定点化数据，其中，所述定点化处理方式包括非均匀量化法和均匀量化法之一。

本申请是申请日为2017年6月6日、申请号为201710417999.3、发明名称为“数据量化方法及装置”的发明专利申请的分案申请。

技术领域

本发明涉及一种用于对待量化数据进行定点化处理的方法及计算装置。更具体地，本发明涉及一种对待量化数据进行定点化处理的方法及计算装置以用于提升计算装置的计算速度并降低内存开销。

背景技术

神经网络是一种以生物大脑为模型的计算机结构。在神经网络中，称为神经元的节点可互连并共同操作以处理输入数据。不同类型神经网络的例子包括但不局限于卷积神经网络(Convolutional Neural Networks)、循环神经网络(Recurrent NeuralNetworks)、深层信念网络(Deep Belief Networks)等神经网络。

卷积神经网络包括一或多个卷积层的神经网络。卷积层通常稀疏连接至神经网络层。也就是说，卷积层中的每个节点从前面的神经网络层的一部分节点接收输入，并从输入产生激活。一般来说，卷积层具有根据每一节点的一组权重并藉由卷积已接收的输入产生激活的节点。在一些情况下，在卷积层中的节点可被配置为共享权重。也就是说，层中的所有节点或部分节点可被限制为具有与层中其他节点相同的权重。由于卷积层具有能依据在输入图像中像素数据的相对位置而从输入图像中提取特征的能力，因此卷积层被视为非常适合用于处理图像，例如图像识别领域。

然而，卷积神经网络庞大的计算量和存储量使得一般的计算机系统难以有效地进行计算。因此，如何在卷积神经网络中提升计算速度及精确度并减少存储空间为目前急需解决的问题。

发明内容

以下发明内容仅为示例性的，且不意指以任何方式加以限制。除所述说明性方面、实施方式和特征之外，通过参照附图和下述具体实施方式，其他方面、实施方式和特征也将显而易见。即，以下发明内容被提供以介绍概念、重点、益处及本文所描述新颖且非显而易见的技术优势。所选择，非所有的，实施例将进一步详细描述如下。因此，以下发明内容并不意旨在所要求保护主题的必要特征，也不意旨在决定所要求保护主题的范围中使用。

本发明提供一种用于对待量化数据进行定点化处理的方法及计算装置。

本发明提出一种用于对待量化数据进行定点化处理的方法，包括：接收待量化数据，所述待量化数据为浮点型格式；根据所述待量化数据的分布确定所述待量化数据要采用的最优量化步长；根据所述最优量化步长确定定点型格式，所述定点型格式包括符号位位数、整数位位数和小数位位数；以及利用所述定点型格式对所述待量化数据进行定点化处理，以获得具有所述定点型格式的定点化数据，其中，所述定点化处理方式包括非均匀量化法和均匀量化法之一。

当所述定点化处理的类型为非均匀量化法时，所述整数位位数为m，所述小数位位数为n，其中m和n分别表示为：

m＝P-1-n

n＝-log₂(Δmin)

其中，P为所述待量化数据的位数，Δmin为所述最优量化步长。

当所述定点化处理的类型为均匀量化法时，所述整数位位数为m，所述小数位位数为n，其中m和n分别表示为：

m＝log₂(max|Q₀|，|Q_M|)