[发明专利]用于FP16浮点数据和INT8整型数据运算的混合精度运算器

说明书

本发明公开了一种用于FP16浮点数据和INT8整型数据运算的混合精度运算器，包括精度转换模块、运算单元、两个输入数据和一个、两个或四个输出数据；输入数据和输出数据采用EM16格式表达，EM16格式表达为16位数，包括FP16浮点表达、INT8整型表达和INT8双整型表达；两个输入数据分别为神经网络计算中的特征数据和参数数据；精度转换模块用于根据外部配置信息执行特征数据的在EM16格式各表达之间的精度转换；运算单元用于根据外部配置信息执行同为FP16浮点数据或同为INT8整型数据的两数据之间加法运算或乘法运算。本发明的混合精度运算器可以在计算过程中混合使用FP16浮点数据和INT8整型数据，使得该混合精度计算可以在神经网络计算任务中既拥有FP16的精度，又可以拥有INT8的速度。

技术领域

本发明涉及神经网络张量处理器架构领域，尤其涉及一种用于FP16浮点数据和INT8整型数据运算的混合精度运算器。

背景技术

传统神经网络计算硬件使用固定的计算精度，如DSP通常采用16位定点计算，GPU通常采用32位浮点或16位浮点计算，AI加速器通常采用16位浮点或者8位整数计算。

神经网络算法通常使用32位浮点精度进行模型训练，训练所得的参数数据通常采用32位浮点精度。另一方面，使用32位浮点或16位浮点精度进行推理计算时，通常可以获得与训练相当的精度。然而，使用16位或8位整数精度计算时，往往会带来一定的计算准确率的损失。特别是在8位整数精度下，如果不通过量化训练等额外技术来补偿，8位整数精度计算所带来的准确率的损失往往会十分巨大。

半精度浮点数FP16是一种被计算机使用的二进制浮点数据类型，其仅占用两个字节，可以表示一个范围较大的数值。整数INT8仅占用1个字节，数值表示范围只有-128～127。

与INT8相比，FP16在高精度图像处理上有较大优势，可以保持与FP32相当的准确度，常用的目标检测和语义分割等神经网络算法通常需要FP16精度。另一方面，INT8的精度相对较低，更多用于对精度要求不高的分类算法。FP16浮点和INT8整型是神经网络推理计算采用的常用精度，在现有方法下，需要根据不同场景的精度和速度需求来综合考虑并选择其中一种。同一个计算硬件通常只能按照其中一种精度进行计算，需要在速度和精度上进行取舍。

发明内容

鉴于现有技术的上述缺陷，本发明的目的是提供一种用于FP16浮点数据和INT8整型数据运算的混合精度运算器，能有效提高在神经网络张量处理器中FP16浮点数据和INT8整型数据混合运算的速度和精度。

为实现上述目的，本发明提供了一种用于FP16浮点数据和INT8整型数据运算的混合精度运算器，包括精度转换模块、运算单元、两个输入数据和一个、两个或四个输出数据；

所述输入数据和输出数据采用EM16格式表达，所述EM16格式表达为16位数，包括FP16浮点表达、INT8整型表达和INT8双整型表达；两个输入数据分别为神经网络计算中的特征数据和参数数据；所述精度转换模块用于根据外部配置信息执行所述特征数据的在EM16格式各表达之间的精度转换；所述运算单元用于根据外部配置信息执行同为FP16浮点数据或同为INT8整型数据的两数据之间加法运算或乘法运算。

进一步的，所述FP16浮点表达，包括位宽为1比特的符号位、位宽为5比特的指数位和位宽为10比特的小数位；所述INT8整型表达，包括位宽为9比特的符号位和位宽为7比特的整数位；所述INT8双整型表达，包含了两个有符号的INT8整数，每个整数包括位宽为1比特的符号位和位宽为7比特的整数位。

进一步的，所述精度转换模块中，FP16浮点数据和INT8整型数据间的数据格式转换通过如下公式实现：

Value_fp16＝Scale_fp16*Value_int8

其中的Scale值为FP16精度的量化参数。