[发明专利]一种数据格式调整方法、装置、计算机设备和存储介质

说明书

本公开提供了一种数据格式调整方法、装置、计算机设备和存储介质，其中，该方法包括：获取多个预设的尾数位宽值、多个预设的指数位宽值以及目标神经网络的标准检测精度；针对所述目标神经网络中至少部分网络层中的每个网络层，基于所述标准检测精度，从所述多个预设的尾数位宽值中选取该网络层中数据的目标尾数位宽值，以及从多个指数位宽值中选取该网络层中数据的目标指数位宽值；基于至少部分网络层中的每个网络层中数据的目标尾数位宽值和目标指数位宽值，分别确定每个网络层的数据的存储格式。

技术领域

本公开涉及神经网络领域，具体而言，涉及一种数据格式调整方法、装置、计算机设备和存储介质。

背景技术

针对神经网络，每个网络层中数据的数据范围可能存在差异，但关于每个网络层的数据的存储方式，大多采用统一的存储格式来进行数据存储。

为了尽量满足每个网络层对数据精度和数据分布范围的要求，采用的存储格式中一般尾数位宽值和指数位宽值均较大，这种方式就存在增加了不必要的位宽，造成了存储空间大量占用、存储速度降低、运算量以及功耗增加的缺陷。

发明内容

本公开实施例至少提供一种数据格式调整方法、装置、计算机设备和存储介质。

第一方面，本公开实施例提供了一种数据格式调整方法，包括：

获取多个预设的尾数位宽值、多个预设的指数位宽值以及目标神经网络的标准检测精度；

针对所述目标神经网络中至少部分网络层中的每个网络层，基于所述标准检测精度，从所述多个预设的尾数位宽值中选取该网络层中数据的目标尾数位宽值，以及从多个指数位宽值中选取该网络层中数据的目标指数位宽值；

基于至少部分网络层中的每个网络层中数据的目标尾数位宽值和目标指数位宽值，分别确定每个网络层的数据的存储格式。

该方面，实现了在不降低目标神经网络的标准检测精度的前提下，分别调整每个网络层的数据的存储格式。调整后的存储格式既能够满足对应网络层的数据分布范围的需求，也能够满足对应网络层的数据精度的要请求，同时，每个网络层的位宽相较于现有技术中所有网络层设置的统一的位宽较小，这就能够提高存储空间的占用率、提高存储速度、降低运算量以及与运算功耗。

在一种可能的实施方式中，所述尾数位宽值包括所述目标神经网络中权重对应的第一尾数位宽值；

基于所述标准检测精度，从所述多个预设的尾数位宽值中选取所述网络层中数据的目标尾数位宽值，包括：

将所述网络层中权重的指数位宽值设置为第一预设值，并将所述第一预设值依次与多个所述第一尾数位宽值中的每个第一尾数位宽值进行组合，得到多个第一位宽值组合；

针对每个第一位宽值组合，分别确定所述网络层中的权重以该第一位宽值组合的存储格式进行存储的情况下，所述目标神经网络的第一检测精度；

基于所述标准检测精度和所述第一检测精度，从所述多个第一尾数位宽值中选取所述网络层中权重的目标尾数位宽值。

这样，在将指数位宽值设置为一个固定值的情况下，确定的第一检测精度只跟尾数位宽值相关，因此基于标准检测精度和第一检测精度能够筛选出不会造成目标神经网络的检测精度下降的尾数位宽值，提高了确定的尾数位宽值的合理性。

在一种可能的实施方式中，所述基于所述标准数据预测精度和所述第一检测精度，从所述多个第一尾数位宽值中选取所述网络层中权重的目标尾数位宽值，包括：

基于所述标准检测精度，从所述多个第一位宽值组合中，选取第一检测精度大于或等于所述标准检测精度的第一位宽值组合；

将选取的第一位宽值组合中，最小的第一尾数位宽值作为所述网络层中权重的目标尾数位宽值。