[发明专利]基于优化诱导的平衡神经网络模型的图像分类方法

说明书

本发明公布了一种基于优化诱导的平衡网络模型的图像分类方法，在优化诱导的平衡网络结构中引入跳接结构，构建新的神经网络单元及对应的隐式平衡神经网络，称为深度优化诱导的平衡网络模型；利用改进的序列平均法对深度优化诱导的平衡网络模型进行模型训练；再利用训练好的深度优化诱导的平衡网络模型，对输入的图像进行图像分类。不同于现有用于图像分类的单层平衡神经网络模型方法，本发明的深度优化诱导的平衡网络模型具有更好的表达能力，以更小的可学参数量实现更卓越的性能，能够有效实现图像分类任务。

技术领域

本发明属于模式识别、机器学习、人工智能技术领域，涉及图像分类方法， 尤其涉及一种基于优化诱导的平衡网络模型的图像分类方法。

背景技术

近年来，隐式平衡神经网络(Implicit Equilibrium Network)得到了广泛 的关注，因为它在消耗较少内存的同时，能够达到或超过传统深度神经网络的性 能，这类模型的实例包括深度平衡(DEQ)模型和神经常微分方程(Neural ODE)。 隐式平衡神经网络没有规定显式的网络前向计算过程，相反，它只是规定了它的 输出应该满足的一些条件，例如是某些方程的共同解，或者是某个优化问题的最优解。总的来说，隐式平衡模型的输出是通过求解一个隐式定义的方程而产生的。 另一方面，对于一般的凸优化问题，凸优化问题的解都满足一定的最优条件方程， 一般情况下最优解属于最大单调算子和的零集。因此，隐式平衡神经网络非常适 合从最优化的角度来研究。

利用研究隐式平衡神经网络来进行图像分类也是当下热门的研究方向。虽 然有着内存消耗小精度高的优点，但是，随之而来的是，基于隐式平衡神经网络 的图像分类算法的在推断和训练的时候计算开销都极大。目前还不存在一个能平 衡内存消耗和计算量的训练隐式平衡神经网络的算法。另外，尽管基于隐式平衡 神经网络的图像分类算法在一些数据集上取得了较高的精度，但是由于其隐式的特性，隐式平衡神经网络的结构的设计过于简单。实际用于图像分类算法时，需 要引入各式各样的工程技巧以及需要对网络进行嵌套使用。主要的原因还是没有 一个统一的方法对隐式平衡神经网络的平衡点的性质进行研究，然而平衡点的性 质又和网络结构的设计及使用有着极大的联系。

总的来说，目前基于隐式平衡神经网络的图像分类算法存在两个缺点，一是 无法在计算开销和内存消耗之间取得平衡，二是没有统一的方法来研究隐式平衡 神经网络平衡点的性质，进而无法方便的设计更贴合数据和图像分类应用的隐式 平衡神经网络。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于优化诱导的平衡网络模 型的图像分类方法，针对图像分类处理，创建深层优化诱导的平衡网络模型和利 用改进的序列平均法SAM算法进行模型训练。相对于现有基于DEQ的图像分类方法，本发明提出的改进的SAM算法很好的平衡了内存与计算消耗。

为了研究隐式平衡神经网络的平衡点性质，本发明首先对一般多层前馈DNN 进行了重新构造，并将其分解为一类新的神经网络单元的复合，以此同时保持 DNN的输出不变。这类新的神经网络单元是某个隐式凸函数的微分，在一些条件 下它是一个近端算子，在这种情况下，这类新的神经网络单元在任何地方都有完 备定义的并且它的性质完全有所对应的隐含凸函数决定。针对于这类新的神经网 络单元，本发明提出了其对应的隐式平衡神经网络---优化诱导的平衡网络模型 (Optimization Induced Equilibrium Networks)。该网络的输出等价一个隐含优化问题的精确解。求出优化诱导的平衡网络的平衡点(即网络输出)相当于求 解一个隐含的凸优化问题。一般来说，通过改变优化诱导的平衡网络所对应的凸 问题，我们可以将任意的性质引入到优化诱导的平衡网络中，例如，我们可以通过向凸优化问题的目标中添加一个正则函数来约束平衡点。

除了单层的优化诱导的平衡网络模型，我们提出它的深层版本---深层优化 诱导的平衡网络模型，以增强网络的表示能力。值得注意的是，深层优化诱导的 平衡网络模型包含了大多数现有的DNN和DEQ模型作为特例。同样地，我们还 给出了深层优化诱导的平衡网络所对应的隐含凸优化问题，其目标函数是凸函 数的Moreau包络和。