[发明专利]用于模式识别与分类的双层学习模型、构建方法及应用

权利要求书

1.一种用于模式识别与分类的双层学习模型，其特征在于，所述双层学习模型为：

其中W求解：

下层

其中即在测试集上错误分类的比率，用F_nc表示网络的复杂性，λ₁,λ₂是预设的两个权重参数，且λ₁+λ₂＝1，H为网络结构，W为网络连接权值向量，Θ为网络结构搜索空间，Ω权值向量搜索空间，I为0-1整数集，R为实数集，p为训练集模式指标，P为训练集样本个数，O_p为第p个样本的网络输出，T_p为第p个样本的目标输出，F_te为测试集误差率，n为网络结构编码向量的维数，m为网络参数编码向量的维数，F_U(H,W)为上层目标函数，f_L(H,W)为下层目标函数，由于网络泛化性能比网络结构复杂度更重要，所以要求λ₁＞λ₂＞0，由于上层决策变量是整数向量，下层决策变量是实数向量，所以模型属于离散双层优化问题。

2.如权利要求1所述的双层学习模型，其特征在于，所述双层学习模型将训练过程和测试过程整合到同一个框架中，达到边训练，边测试，选择测试误差率最小，同时网络复杂度较小的神经网络为最佳神经网络；在双层学习模型，上层决策变量是关于网络结构的向量，上层目标是网络对测试集的误差和网络的复杂度同时最小；下层决策变量是网络参数，下层目标是训练集的均方误差最小。

3.一种如权利要求1所述用于模式识别与分类的双层学习模型的构建方法，其特征在于，所述双层学习模型的构建方法包括以下步骤：

第一步，构建上层决策者，上层决策者是网络结构编码，上层目标函数是网络复杂度和测试集上的分类误差率的加权组合；

第二步，构建下层决策者，下层决策者是网络参数(连接权值和偏置)编码，下层目标函数是训练集上的均方误差。

4.如权利要求3所述的双层学习模型的构建方法，其特征在于，所述双层学习模型的构建方法的决策过程是：上层给下层提供一个网络结构，下层在此结构下，作用于训练集上寻求一组最优网络权值，使得网络的均方误差最小，将获得的网络权值反馈给上层，上层利用该网络作用于测试集，获得测试误差率；上层在给定空间中不断搜索网络结构，提供给下层，下层在其空间中优化权值反馈给上层，通过上层和下层反复博弈，直到上层找到最佳神经网络。

5.如权利要求3所述的双层学习模型的构建方法，其特征在于，所述双层学习模型的构建方法的上层编码策略为：对单隐层神经网络中隐层神经元激活状态进行0-1二进制编码，若隐层神经元未激活用0表示，隐层神经元激活用1表示，隐层激活的神经元与所有输入和输出神经元都连接。

所述双层学习模型的构建方法的上层目标函数由网络复杂度和测试集上的分类误差率的加权组合而成。

6.如权利要求3所述的双层学习模型的构建方法，其特征在于，所述双层学习模型的构建方法的下层编码策略是：对网络参数，包括输入层神经元与隐层神经元之间的连接权值，隐层神经元与输出神经元之间的连接权值，以及隐层神经元、输出神经元的偏置，采用实数向量编码；

所述双层学习模型的构建方法的下层目标函数是训练集上的均方误差。