[发明专利]基于三支决策的神经网络拓扑结构优化方法

说明书

本发明涉及基于三支决策的神经网络拓扑结构优化方法，针对经验公式法确定神经网络的隐藏层结点数目，缺乏一定的理论支撑且算法的准确率不高而提出。这是首次将三支决策理论应用到确定神经网络的隐藏层结点数目的问题。首先，初始化一个隐藏层结点，利用Focal loss损失函数和Adam算法实现神经网络的学习过程；然后，针对神经网络训练阶段的错分样本，使用三支决策理论，在最小决策风险损失的情况下，将其划分至不同的域，并采取相应的策略；最后，当边界域不为空集时，依次增加神经网络的隐藏层结点数目，直至边界域是空集时，停止模型的增长，从而确定神经网络的拓扑结构，同时提高了神经网络的预测精确度。

技术领域

本发明属于机器学习领域，设计一种基于三支决策的神经网络拓扑结构优化方法，该方法能自适应寻找神经网络隐藏层结点数目，从而实现拓扑结构优化。

背景技术

神经网络是机器学习的常用算法之一，是一种模仿生物神经网络结构和功能的数学模型。网络结构是设计神经网络算法的关键所在，旨在获得尽可能简单的结构，同时增强网络的泛化能力，提高算法的性能。例如，单隐藏层前馈神经网络是神经网络及其衍生算法中结构最简单的网络，仅仅由输入层、一个隐藏层和输出层构成，此时网络的计算能力主要取决于隐藏层，包括隐藏层的结点数目和激活函数的类型等。一旦确定网络隐藏层的结点数目，单隐藏层前馈神经网络的拓扑结构、表征能力等随之确定。

目前，确定隐藏层的结点数目是默认使用经验公式：m＝log₂n；其中m为隐藏层的结点数目，n为输入层的结点数目，l为输出层的结点数目，α∈(1，10)。使用经验公式缺乏一定的理论支撑，有时网络的准确率等性能未必达到要求。

根据网络生长方式的不同，当前有关网络拓扑结构的研究主要有增长型神经网络、修剪型神经网络和启发式神经网络。在增长型神经网络中，考虑到数据集中难分的样本，仅仅通过增加隐藏层的结点数目或隐藏层的层数实现对数据集的划分，大规模地增加了模型的复杂度，更重要的是，降低了模型的高效性。

基于此，有必要设计一种新的增长型网络拓扑结构优化方法解决上述问题，不仅要在神经网络的隐藏层结点选择上有一定的理论支撑，同时还要不影响神经网络算法本身的复杂度，期望一定程度上能提高神经网络的准确率等性能。

发明内容

本发明的目的是提供一种基于三支决策的神经网络拓扑结构优化方法，该方法能够确定神经网络隐藏层结点数目，为优化网络拓扑结构提供一定的理论支撑，同时能提高神经网络的准确率等性能。

为实现上述发明目的，本发明提供了一种基于三支决策的神经网络拓扑结构优化方法，首先，初始化一个隐藏层结点，利用Focal loss函数和Adam算法实现神经网络的学习过程；然后，针对神经网络训练阶段的错分样本，使用三支决策理论，在最小决策风险损失的情况下，将样本划分至不同的域，并采取相应的策略；最后，当边界域不为空集时，依次增加神经网络的隐藏层结点数目，直至边界域是空集时，停止模型的增长，从而确定神经网络的拓扑结构。该方法的具体步骤是：

步骤1：初始化参数

选择激活函数类型(Sigmoid函数类、Relu函数类)和不同激活函数下初始化参数服从的分布(均匀分布、正态分布)、神经网络的权重w和偏置b、Focal Loss函数的聚焦参数θ等。

步骤2：确定神经网络类型，设置一个隐藏层结点，在训练集和验证集上实现神经网络的学习过程，确定在最优权重和最优偏置下训练集中的错分样本

步骤2-1：神经网络的前向学习过程

选定激活函数和相应地参数初始化方法后，将激活函数作用于训练集上，获得神经网络算法的预测值，并计算神经网络的Focal loss值、准确率、加权F1-score值；

步骤2-2：神经网络的误差反向传播过程