[发明专利]数据块的处理方法、装置及存储介质

说明书

本申请公开了一种数据块的处理方法、装置及存储介质，属于机器学习技术领域。该方法包括：通过神经网络模型中元素级操作层，获取上一级网络层输入的数据类型为定点型数据的多个数据块，获取每个数据块的各个通道对应的补偿系数，基于多个数据块中每个数据块的各个通道对应的补偿系数，将多个数据块转换成多个补偿数据块，多个补偿数据块中的数据均为定点型数据且数据精度相同，对多个补偿数据块进行元素级操作，得到元素级操作结果。本申请中的元素级操作层可以对定点型数据进行处理，而且通过为每个数据块的各个通道设置补偿系数，将各个数据块的数据精度调整一致，补偿了数据精度差异带来误差，提高了定点化网络的计算精度。

技术领域

本申请涉及机器学习技术领域，特别涉及一种数据块的处理方法、装置及存储介质。

背景技术

近年来，随着人工智能技术的不断发展，神经网络在图像识别、语音识别等领域应用日益广泛。神经网络模型通常包括多个网络层，如Convolution(卷积)层或Eltwise(Element Wise，元素级操作)层等。Eltwise层是神经网络模型中的一种重要的功能层的统称，其用于对上一级网络层输入的数据块进行处理，比如对上一级网络层输入的数据块进行相加或相乘等。

在相关技术中，Eltwise层只能采用浮点形式进行计算，也即是，只能对浮点型数据进行处理，浮点型数据是指小数点不固定的数据。具体地，Eltwise层的元素级操作过程包括：接收上一级网络层输入的多个数据块，这多个数据块中的数据均为浮点型数据；对这多个数据块直接进行元素级操作，得到元素级操作结果。元素级操作是指对两个或两个以上的数据块进行逐元素(同位置)计算，具体可以为加法操作或乘法操作等。

由于目前的Eltwise层只能对浮点型数据进行处理，因此，运行设备需要将Eltwise层的输入数据以高比特宽度进行缓存，又由于浮点型数据的运算复杂，因此，Eltwise层的运行效率较低，导致具有Eltwise层的神经网络模型在相关硬件上的运行效率较低，且该Eltwise层只能运行在能够处理浮点型数据的硬件上，对硬件要求较高。

发明内容

本申请提供了一种数据块的处理方法、装置及存储介质，可以解决相关技术中存在的Eltwise层的运行效率较低，对硬件要求较高的问题。所述技术方案如下：

一方面，提供了一种数据块的处理方法，所述方法包括：

通过神经网络模型中的元素级操作层，获取所述元素级操作层的上一级网络层输入的多个数据块，所述多个数据块中的数据均为定点型数据；

通过所述元素级操作层，获取所述多个数据块中每个数据块的各个通道对应的补偿系数；

通过所述元素级操作层，基于所述多个数据块中每个数据块的各个通道对应的补偿系数，将所述多个数据块转换成多个补偿数据块，所述多个补偿数据块中的数据均为定点型数据；

通过所述元素级操作层，对所述多个补偿数据块进行元素级操作，得到元素级操作结果。

可选地，所述基于所述多个数据块中每个数据块的各个通道对应的补偿系数，将所述多个数据块转换成多个补偿数据块，包括：

将所述多个数据块中每个数据块的各个通道上的数据，分别与各个通道对应的补偿系数进行相乘，得到多个补偿数据块；或者，

将所述多个数据块中每个数据块的各个通道上的数据，分别与各个通道对应的补偿系数进行相乘，并对相乘结果进行取整处理，得到多个补偿数据块。

可选地，所述对所述多个补偿数据块进行元素级操作，得到元素级操作结果，包括：

对所述多个补偿数据块进行相加或相乘，得到所述元素级操作结果；或者，

对所述多个补偿数据块进行相加或相乘，得到第一操作结果，将所述第一操作结果与偏置系数进行相加，得到所述元素级操作结果。