[发明专利]基于三支决策的神经网络拓扑结构优化方法

权利要求书

1.一种基于三支决策的神经网络结构优化方法，其特征在于，该方法包括以下内容：

初始化一个隐藏层结点，利用Focal loss函数和Adam算法实现神经网络的学习过程；

针对神经网络训练阶段的错分样本，使用三支决策理论，在最小决策风险损失的情况下，将样本划分至不同的域，并采取相应的策略，当边界域不为空集时，依次增加神经网络的隐藏层结点数目，直至边界域是空集时，停止模型的增长，获得神经网络的隐藏层结点数目；

在确定神经网络中隐藏层结点数目后，计算输入层到隐藏层、隐藏层到输出层的权重和偏置，从而确定神经网络的拓扑结构；

该优化方法用于Online News Popularity数据的分类中，具体过程是：

步骤1：初始化参数

对二分类共有39797条的数据集Online News Popularity，按照8∶1∶1的比例将其划分为大小为(31837，61)的训练集、大小为(3980，61)验证集和大小为(3980，61)测试集；选择激活函数为Swish函数和初始化参数服从正态分布的情形，并初始化神经网络的权重和偏置；

步骤2：神经网络结构为SFNN，设置一个隐藏层结点，在训练集上实现神经网络的学习过程

步骤2-1：神经网络的前向学习过程

在激活函数为Swish函数和初始化参数服从正态分布的情形下，获得训练集上的神经网络算法的预测标签，计算并返回网络的Focal loss值、准确率、加权F1-score值；

步骤2-2：神经网络的误差反向传播过程

采用Adam算法优化神经网络的权重和偏置，包括输入层和隐藏层之间的权重和偏置、隐藏层到输出层之间的权重和偏置；

每次更新权重和偏置参数后，计算验证集上的神经网络的准确率，并返回在验证集上表现最优的权重w_best和偏置b_best；

步骤2-3：在最优权重和最优偏置参数下，再次计算训练集的准确率、加权F1-score值：

在计算训练集的准确率、加权F1-score值后，返回训练集中的错分样本；所有错分样本构成错分样本集，其中错分样本是指在最优权重和偏置下经过当前神经网络输出仍未正确分类的样本，错分样本集是指所有错分样本构成的集合

步骤3：在错分样本集上实现三支决策的学习过程

步骤3-1：采用Kmeans++算法进行离散化处理，直到所有数据均为整型数据；

步骤3-2：获得在样本实例的等价类和标签的等价类两者的基础上的条件概率；数据集是二分类问题，即标签取值为{+1}或{-1}，首先针对样本和标签分别划分等价类，即元素相同的样本或标签被划分至同一个集合中，不同的集合构成样本或标签的等价类[x]；

步骤3-3：初始化三支决策的阈值参数(α，β，γ)，根据步骤3-2的条件概率，构建阈值参数组合；构建阈值参数组合为；

(1)当P(X|[x])＝0时，由于三支决策的阈值需要满足0＜β＜γ＜α＜1的大小关系，而当条件概率替换α(β)时，会造成P(X|[x])＝α(β)＝0的情形，这与阈值满足的大小关系是相矛盾的，因此，当条件概率替换α(β)时要保留原阈值参数；

(α′，β，γ)＝(α，β，γ)

(α，β′，γ)＝(α，β，γ)

(α，β，γ′)＝(α-β，0*，γ-β)

(2)当P(X|[x])＝1时，

(3)当0＜P(X|[x])＜1时，

其中，P是步骤3-2求得的条件概率，“’”的含义是根据等距离缩放原则替换后的相应阈值，“*”表示不取到该值，且为0～1之间的数；

步骤3-4：对阈值参数组合进行筛选，只保留具有唯一性的阈值参数组合，并计算参数组合下的决策风险损失，输出最小决策风险损失对应的最佳阈值(α′，β′，γ′)；

计算决策风险损失；

根据Bayes决策理论，构建三支决策理论的风险损失函数：

s.t.0＜β＜γ＜α＜1，ε≥1

其中，P_i是求得的条件概率不小于阈值α的概率值，i∈(1，r)，其中r是求得的条件概率中不小于阈值α的概率个数；P_j是求得的条件概率不大于阈值β的概率值，j∈(1，s)，其中s是求得的条件概率中不大于阈值α的概率个数；P_k是求得的条件概率大于阈值β且小于阈值α的概率值，k∈(1，t)，其中t是求得的条件概率中大于阈值β且小于阈值α的概率个数；

根据Bayes决策准则，需要选择期望损失最小的行动集作为最佳行动方案，则最优分类决策规则为

(P)若P(X|[x])≥α′，则x∈POS(X)；

(B)若β′＜P(X|[x])＜α′，则x∈BND(X)；

(N)若P(X|[x])≤β′，则x∈NEG(X)；

于是，基于决策粗糙集的三支决策语义可以描述为规则(P)表示：若在[x]的描述下，X发生的概率大于阈值α，将[x]划分到X的正域中，表示接受该决策；

规则(B)表示：若在[x]的描述下，X发生的概率介于阈值α和β之间，将[x]划分到X的边界域中，此时决策依据不足，需收集更多信息以便做出正确决策；

规则(N)表示：若在[x]的描述下，x发生的概率小于阈值β，将[x]划分到X的负域中，表示拒绝该决策；

步骤3-5：根据条件概率和阈值参数之间的关系，将样本划分到不同的域：POS正域、BND边界域、NEG负域，采取相对应的不同策略：接受该标签、延迟决策、拒绝该标签；

步骤3-6：当时，再添加一个隐藏层结点数目，并转至步骤3；当时，转至步骤4；

步骤4：在确定神经网络中隐藏层结点数目后，计算输入层到隐藏层、隐藏层到输出层的权重和偏置，从而确定神经网络的拓扑结构；

计算加权后的权重w_best和偏置b_best，以权重w_best的计算过程为例，计算公式是：

其中，当j＝1时，为神经网络中由输入层到隐藏层之间的最优权重，为第i次向神经网络中添加的由输入层到隐藏层之间的权重；同理，当j＝2时，为神经网络中由隐藏层到输出层之间的最优权重，为第i次向神经网络中添加的由隐藏层到输出层之间的权重；σ_i是第i次添加隐藏层结点后学习到网络的结点权重时处理的样本量在总训练集的占例，且N为添加隐藏层结点的次数，偏置b_best也按照上述方式类似获得；

步骤5：在测试集上，最优的权重w_best和偏置b_best计算TWD-SFNN算法的预测标签，返回测试集上的Focal loss值、准确率、加权F1-score值。

2.根据权利要求1所述的方法，其特征在于，该方法用于分类的数据集中。