[发明专利]一种防止数据溢出的方法、装置和芯片

权利要求书

1.一种防止数据溢出的方法，包括：

在数据上溢的情况下，将输入数据先缩小n倍，并且

将卷积层的权值缩小n倍，然后将批量归一化层的均值缩小n倍，以及将所述批量归一化层的方差缩小n²倍；或者

将训练模式的权值缩小n倍，然后将推理模式的均值缩小n倍，以及将所述推理模式的方差缩小n²倍，

然后在后续的输出单元再放大相应的倍数；和/或

在数据下溢的情况下，将输入数据先放大n倍，并且

将卷积层的权值放大n倍，然后将批量归一化层的均值放大n倍，以及将所述批量归一化层的方差放大n²倍；或者

将训练模式的权值放大n倍，然后将推理模式的均值放大n倍，并且将所推理模式的方差放大n²倍，

然后在后续的输出单元再缩小相应的倍数。

2.根据权利要求1所述的防止数据溢出的方法，其中卷积层的输出是批量归一化层的输入，在所述批量归一化层的输入中包含了需要优化的参数；或者训练模式的输出是推理模式的输入，在所述推理模式的输入中包含了需要优化的参数。

3.根据权利要求2所述的防止数据溢出的方法，其中卷积层的输出和/或训练模式的输出是由卷积和/或训练模式的输入、权值和偏置得到的，优化参数包括根据所述权值优化均值和方差的计算过程。

4.根据权利要求1所述的防止数据溢出的方法，包括将输出的权值取绝对值，求取所述绝对值中的最大值，使用所述最大值缩放所述输出的权值。

5.根据权利要求4所述的防止数据溢出的方法，其中所述输出的权值形式是四维矩阵形式N, C, H, W，其中N, C, H, W分别代表输入数据的批数据量、每个数据的通道数、每个通道的高、每个通道的宽，在优化均值和方差的计算过程的步骤中是分别除以每个通道的高和每个通道的宽。

6.根据权利要求1所述的防止数据溢出的方法，包括将输出的权值取绝对值，求取所述绝对值中的最大值，使用所述最大值放大所述输出的权值。

7.根据权利要求6所述的防止数据溢出的方法，其中所述输出的权值形式是四维矩阵形式N, C, H, W，其中N, C, H, W分别代表输入数据的批数据量、每个数据的通道数、每个通道的高、每个通道的宽，在优化均值和方差的计算过程步骤中是分别除以每个通道的高和每个通道的宽。

8.一种用于防止数据溢出的装置，包括：

处理器，其配置用于执行程序指令；以及

存储器，其配置用于存储程序指令，当程序指令由处理器加载并执行时，使得装置执行根据权利要求1-7任意一项的方法。

9.一种用于防止数据溢出的芯片，包括：

输入端，其配置成用于接收输入数据；

处理器，其配置成用于：

在数据上溢的情况下，将输入数据先缩小n倍，并且

将卷积层的权值缩小n倍，然后将批量归一化层的均值缩小n倍，以及将所述批量归一化层的方差缩小n²倍；或者

将训练模式的权值缩小n倍，然后将推理模式的均值缩小n倍，以及将所述推理模式的方差缩小n²倍，

然后在后续的输出单元再放大相应的倍数；和/或

在数据下溢的情况下，将输入数据先放大n倍，并且

将卷积层的权值放大n倍，然后将批量归一化层的均值放大n倍，以及将所述批量归一化层的方差放大n²倍；或者

将训练模式的权值放大n倍，然后将推理模式的均值放大n倍，并且将所推理模式的方差放大n²倍，

然后在后续的输出单元再缩小相应的倍数。