[发明专利]张量浮点数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种张量浮点数据处理方法、装置、设备及存储介质，根据张量中多个浮点数据的指数部和预设公共指数编码长度确定公共指数编码；依次遍历多个浮点数据，根据目标浮点数据的目标指数部和公共指数编码确定第一差值；根据目标浮点数据的目标指数部和预设公共指数编码长度确定独立指数编码；根据第一差值对目标浮点数据的目标字长部进行右移，右移时目标字长部首部补入第一补位编码，得到待裁剪的目标字长部；根据预设公共指数编码长度和预设编码长度确定目标字长部的目标字长长度；根据目标字长长度舍入待裁剪的目标字长部，得到字长编码；根据独立指数编码、目标浮点数据的标志位和字长编码确定目标浮点数据的目标编码，提高计算效率。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种张量浮点数据处理方法、装置、设备及存储介质。

背景技术

随着机器学习技术的发展，深度学习神经网络的应用及其训练得到广泛应用。深度学习神经网络主要采用浮点数进行计算，浮点数例如IEEE754规定的FP16和FP32。

当神经网络训练对数值的动态范围以及相对精度的要求不高时，使用FP16和FP32等浮点数格式存在较多的冗余数据，冗余数据导致输入输出带宽增加，降低计算效率。此外，目前存在8比特的低精度浮点数，但在神经网络训练过程中，8比特浮点数由于其精度过低，导致很难扩展使用到大部分的神经网络训练场景中。可见FP16和FP32以及8比特浮点数存在各自的问题，如何在保证精度的同时降低带宽，以提高计算效率，成为亟待解决的问题。

发明内容

本发明提供一种张量浮点数据处理方法、装置、设备及存储介质，以实现在保证精度的同时降低带宽，提高计算效率。

第一方面，本发明实施例提供了一种张量浮点数据处理方法，包括：

获取张量数据，张量数据包括多个浮点数据；

根据多个浮点数据的指数部和预设公共指数编码长度确定公共指数编码，公共指数编码为多个浮点数据的共同使用的指数部；

依次遍历多个浮点数据，根据目标浮点数据的目标指数部和公共指数编码确定第一差值，目标浮点数据为当前遍历的浮点数据；

根据目标浮点数据的目标指数部和预设公共指数编码长度确定独立指数编码，独立指数编码为目标浮点数据自用的指数编码；

根据第一差值对目标浮点数据的目标字长部进行右移，右移时目标字长部首部补入第一补位编码，得到待裁剪的目标字长部；

根据预设公共指数编码长度和预设编码长度确定目标字长部的目标字长长度；

根据目标字长长度舍入待裁剪的目标字长部，得到字长编码；

根据独立指数编码、目标浮点数据的标志位和字长编码确定目标浮点数据的目标编码，预设编码长度为目标编码的长度；

当遍历完毕时，根据公共指数编码以及多个浮点数据对应的多个目标编码确定张量的编码数据。

第二方面，本发明实施例还提供了一种张量浮点数据处理方法，包括：

获取张量的编码数据，编码数据包括公共指数编码和多个目标编码，公共指数编码为多个浮点数据的共同使用的指数部，每个目标编码和公共指数编码用于表示一个目标浮点数据；

遍历多个目标编码，获取当前遍历的目标编码的独立指数编码、标志位和字长编码；

根据公共指数编码和独立指数编码确定临时指数部；

根据字长编码首部的第一补位编码确定第二差值；

根据第二差值和临时指数部确定目标指数部；

根据第二差值左移字长编码，并在字长编码的尾部补充第二补位编码，得到目标浮点数据的还原字长部；