[发明专利]神经网络模型的处理方法和装置

说明书

本申请公开了一种神经网络模型的处理方法和装置，涉及计算机技术领域。具体实现方案为：获取第i处理层的输入数据，将输入数据转化为多个胶囊节点，对多个胶囊节点进行仿射变换以生成多个胶囊节点对应的仿射节点，根据仿射节点确定初始激活输入值，将初始激活输入值输入激活函数，生成初始激活输出值，根据初始激活输出值对应的仿射节点，重新确定初始激活输入值，将重新确定的初始激活输入值输入激活函数，重新生成初始激活输出值，如此循环预设次数，将最后一次生成的初始激活输出值确定为激活输出值。由此，通过对输入数据转化为的多个胶囊节点进行仿射变换，以根据仿射节点对激活函数的输出值进行迭代更新，从而提高了神经网络的性能。

技术领域

本申请涉及计算机技术领域的人工智能技术领域，尤其涉及一种神经网络模型的处理方法和装置。

背景技术

胶囊网络是一种新的神经网络建模思想，对比其他神经网络，胶囊网络通过增加各个神经元节点的表达能力，来增强网络的整体描述能力。具体而言就是将原本标量表示的神经元转化为向量表示，在标量神经元节点时，通常采用的激活函数有sigmoid，relu等。其中，激活函数在神经网络设计是一种非常重要的元件，主要用于在神经网络中引入非线性变化的能力，帮助神经网络实现非线性的逻辑推理能力。

胶囊节点由于引入了方向信息，将神经元扩充成了向量的表现形式，因此，标量的神经元激活函数将不在适用。为此，胶囊网络提出了一种新的激活函数Squash，来解决这个问题。但是，在实际应用中，Squash激活函数存在激活状态稀疏性不足和激活状态高位更新缓慢的技术问题，从而导致现有的神经网络存在性能低的缺点。

发明内容

本申请提供了一种神经网络模型的处理方法、装置、电子设备以及存储介质。

本申请第一方面实施例提供了一种神经网络模型的处理方法，所述神经网络包括N层处理层，其中，N为正整数，所述方法包括：

S1、获取第i处理层的输入数据，将所述输入数据转化为多个胶囊节点；其中，所述输入数据包括具有j维度的多个神经元向量，其中，i、j为小于或等于N的正整数；

S2、对所述多个胶囊节点进行仿射变换以生成所述多个胶囊节点对应的仿射节点；

S3、根据所述多个胶囊节点对应的仿射节点确定所述第i处理层的初始激活输入值；

S4、将第i处理层的初始激活输入值输入激活函数，生成所述第i处理层的初始激活输出值；以及

S5、根据所述初始激活输出值对应的仿射节点，重新确定所述第i处理层的初始激活输入值，将重新确定的所述第i处理层的初始激活输入值输入激活函数，重新生成所述第i处理层的初始激活输出值，如此循环预设次数，将最后一次生成的第i处理层的初始激活输出值确定为所述第i处理层的激活输出值。

本申请第二方面实施例提供了一种神经网络模型的处理装置，所述神经网络包括N层处理层，其中，N为正整数，所述装置包括：

获取模块，用于获取第i处理层的输入数据，将所述输入数据转化为多个胶囊节点；其中，所述输入数据包括具有j维度的多个神经元向量，其中，i、j为小于或等于N的正整数；

第一生成模块，用于对所述多个胶囊节点进行仿射变换以生成所述多个胶囊节点对应的仿射节点；

确定模块，用于根据所述多个胶囊节点对应的仿射节点，确定所述第i处理层的初始激活输入值；

第二生成模块，用于将第i处理层的初始激活输入值输入激活函数，生成所述第i处理层的初始激活输出值；以及