[发明专利]一种深度神经网络模型的处理方法、装置和设备

说明书

本发明提供了一种深度神经网络模型的处理方法、装置和设备，包括：获取神经网络中第一目标计算层的多个输入数据，第一目标计算层为深度神经网络中所包含的多个计算层中除前两个计算层之外的其他计算层，多个输入数据为深度神经网络中位于第一目标计算层之前且与第一目标计算层相连接的多个计算层的输出数据，输入数据的位宽不超过预设位宽；通过信道拼接操作对多个输入数据进行信道拼接，得到信道拼接结果。本发明缓解了现有的神经网络在对多个输入进行加法或者乘法等运算时，由于运算过程相对较为复杂导致神经网络的计算效率较低的技术问题。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种深度神经网络模型的处理方法、装置和设备。

背景技术

随着人工智能技术的快速发展，神经网络在图像、语音以及文字等具有海量数据的领域已经有了广泛而成功的应用。如图1所示，传统的神经网络是由多组卷积层和非线性单元层逐层叠加而成的，例如，图1所示的神经网络包括三个处理层，分别是卷积1和非线性处理层1，以及卷积2和非线性处理层2，以及卷积3和非线性处理层3。图1中非线性处理层对卷积层的处理结果进行非线性化。在低位宽神经网络中，非线性处理层一般采用的是离散定点化处理层，低位宽神经网络的每一层的输出会被离散定点化为数种固定的取值之一，而不再是浮点数。在通过该神经网络进行相关运算时，例如，加法运算和/或乘运算时，都会用到相应的加法器或者乘法器来进行计算。但是，通过加法器或者乘法器来进行相应的计算时，会影响神经网络的计算效率，从而影响低位宽神经网络的性能。

发明内容

有鉴于此，本发明的目的在于提供一种深度神经网络模型的处理方法、装置和设备，以缓解了现有的神经网络在对多个输入进行加法或者乘法等运算时，由于运算过程相对较为复杂导致神经网络的计算效率较低的技术问题。

第一方面，本发明实施例提供了一种深度神经网络，包括：多个依次连接的计算层，每个所述计算层包括卷积层和非线性处理层，且多个所述计算层中第一计算层和第二计算层之间通过短路边相连接，所述第一计算层为所述多个依次连接的计算层中除前两个计算层之外的其他计算层，所述第二计算层为所述第一计算层之前与所述第一计算层通过短路边相连接的计算层；在所述第一计算层的起始位置处，还包括信道拼接处理层；所述信道拼接处理层用于对所述第二计算层的输出数据和所述第一计算层的前一个计算层的输出数据进行信道拼接。

进一步地，所述非线性处理层为离散定点化处理层，其中，所述信道拼接处理层用于对所述第二计算层中离散定点化处理层的输出数据和所述第一计算层的前一个计算层中离散定点化处理层的输出数据进行信道拼接。

第二方面，本发明实施例提供了一种深度神经网络的处理方法，包括：获取神经网络的第一目标计算层的多个输入数据，所述第一目标计算层为上述所述的深度神经网络中所包含的多个计算层中除前两个计算层之外的其他计算层，所述多个输入数据为所述深度神经网络中位于所述第一目标计算层之前且与所述第一目标计算层相连接的多个计算层的输出数据，所述输入数据的位宽不超过预设位宽；通过信道拼接操作对所述多个输入数据进行信道拼接，得到信道拼接结果，并将所述信道拼接结果作为所述第一目标计算层的输入数据进行处理。

进一步地，获取所述第一目标计算层的多个输入数据包括：确定多个第二目标计算层，其中，所述第二目标计算层为所述第一目标计算层的前一个计算层和通过短路边与所述第一目标计算层相连接的计算层；确定所述多个第二目标计算层的输出数据为所述第一目标计算层的所述多个输入数据。

进一步地，所述输入数据为三维张量，所述输入数据中包括：待处理图像块的高度，待处理图像块的宽度和信道数量，其中，任意两个输入数据的长度和宽度相同，且任意两个输入数据的信道数量相同或者不同。

进一步地，所述输出数据为离散定点化处理之后的输出数据，通过信道拼接操作对所述多个输入数据进行信道拼接，得到信道拼接结果包括：按照所述输入数据中的信道数量，对所述离散定点化处理之后的输出数据进行信道拼接，得到所述信道拼接结果。