[发明专利]一种浮点数据反量化及量化的方法和设备

说明书

本发明提供了一种浮点数据反量化及量化的方法和设备，该方法包括以下步骤：将存储器中的INT8数据转换成浮点数据；提取浮点数据中的指数得到指数矩阵并将指数矩阵中的最大值存储到数据存储器；响应于指数矩阵中的值不均为0，基于最大值得到移位矩阵；基于移位矩阵计算得到用于卷积计算的尾数矩阵；基于尾数矩阵进行卷积乘累加计算得到格式为FINT32的结果；将格式为FINT32的结果转换成格式为fp32的数据以用于卷积输入通道的累加计算。通过使用本发明的方法，能够在卷积计算时保持数据的高精度，同时减少复杂运算，能够有效保证计算的高精度，同时由于复杂计算的简化，减少了FPGA硬件资源的消耗，提高计算速度。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种浮点数据反量化及量化的方法和设备。

背景技术

随着数据的爆炸性增长以及人工智能的蓬勃发展，卷积神经网络广泛应用于各种人工智能应用中。在人工智能应用中，以计算机视觉相关应用最多，例如图像分类、人脸识别等，这些应用的共同特点是对精度的要求较高。因此在对网络模型进行训练时，为了获取高的精度，一般都使用浮点数据类型，例如单精度(IEEE标准单精度浮点数据格式，以下称fp32)、双精度(double)及半精度(以下称bfp16等)。然而，在推理时，为了获取低延时及高吞吐量，往往采用量化后的整型数据，常用的数据类型有INT16、INT8等。

CNN的基本组成是固定的，分别为输入层、卷积层、激活层、池化层和全连接层。其中计算量最大的部分是卷积层，其主要的功能就是完成图像(feature)与卷积核(filter)之间的卷积运算。

卷积层的结构参数主要有以下几种：

卷积核尺寸(Kernel Size)：定义了卷积操作的感受野。在二维卷积中，通常设置为3，即卷积核大小为3×3。步幅(Stride)：定义了卷积核遍历图像时的步幅大小。其默认值通常设置为1，也可将步幅设置为2后对图像进行下采样，这种方式与最大池化类似。边界扩充(Padding)：定义了网络层处理样本边界的方式。当卷积核大于1且不进行边界扩充，输出尺寸将相应缩小；当卷积核以标准方式进行边界扩充，则输出数据的空间尺寸将与输入相等。输入与输出通道(Channels)：构建卷积层时需定义输入通道I，并由此确定输出通道O。这样，可算出每个网络层的参数量为I×O×K，其中K为卷积核的参数个数。例，某个网络层有64个大小为3×3的卷积核，则对应K值为3×3＝9。

网络压缩技巧越来越多地用于神经网络加速中，这些技巧一般包含模型量化、剪枝等，其中模型量化应用尤为广泛。模型压缩是指将需要计算的feature及filter数据，由浮点数据类型量化为整型数据进行网络计算，这样能够显著加快网络计算速度，但是会造成部分计算精度的损失。数据计算的精度与最终网络推理的精度直接相关，网络计算数据精度的降低会造成推理精度的下降。目前硬件加速网络推理发展迅猛，利用FPGA、ASIC等硬件，配合模型量化方法，不仅能够获得低延时及高吞吐量，在成本和功耗方面也表现优异。然而，由于浮点计算量远远超过整型数据计算量，并且采用浮点计算会消耗大量的硬件资源，同时计算时间也更长，因此FPGA及ASIC绝大部分都是采用整型数据进行网络推理计算。高精度及高吞吐率似乎不可兼得，如何在两者之间取得最好的平衡是大家研究的热点问题。

目前网络推理过程大多会采用量化、剪枝等网络压缩技巧，同时利用整型数据进行计算，这样能够加快推理过程，提高图像应用的吞吐率。然而也会带来精度的损失，对于一些对精度要求很高的应用，精度的损失往往是不可接受的。

发明内容

有鉴于此，本发明实施例的目的在于提出一种浮点数据反量化及量化的方法和设备，通过使用本发明的方法，能够在卷积计算时保持数据的高精度，同时减少复杂运算，能够有效保证计算的高精度，同时由于复杂计算的简化，减少了FPGA硬件资源的消耗，提高计算速度。

基于上述目的，本发明的实施例的一个方面提供了一种浮点数据反量化及量化的方法，包括以下步骤：