[发明专利]用于模式识别与分类的双层学习模型、构建方法及应用

说明书

本发明属于模式识别与分类技术领域，公开了一种用于模式识别与分类的双层学习模型构建方法、交互式学习方法及应用。在双层学习新模型中，上层优化网络结构，目标是最小化网络复杂度，同时使得在测试集上的错误分类率最小；下层优化网络参数(连接权值和偏置)，目标是在训练集上的均方误差最小。为了求解双层学习新模型，本发明提供了一种交互式学习算法，其上层算法采用二进制粒子群算法优化网络结构编码，下层算法采用LM算法优化网络参数编码。本发明将新模型和相应算法应用到数据分类中，极大地提高了分类精度。本发明提供神经网络自动设计的双层学习新模型和相应的交互式学习算法，并将其应用于数据分类问题。

技术领域

本发明属于模式识别与分类技术领域，尤其涉及一种用于模式识别与分类的双层学习模型构建方法、交互式学习方法及应用。

背景技术

人工神经网络是人工智能的重要分支之一，已经在大数据处理、智能医疗、智能控制、经济预测等领域有了广泛的应用。模式识别与分类是人工神经网络的主要处理任务，通过已有数据对人工神经网络进行大量训练后，对新输入数据进行识别和分类，如手写字体识别，车牌识别、医学影像识别、疾病自动诊断等。因此人工神经网络在模式识别和分类中新的学习模型和算法研究，具有重要的理论意义和实际价值。

人工神经网络学习模型主要有单目标优化模型、多目标优化模型以及集成学习模型。单目标优化模型是常用的模型，其目标是最小化网络误差(网络计算输出和期望输出的误差)。常用学习算法有基于梯度的算法，如梯度下降算法，共轭梯度算法，Levenberg-Marquardt(LM)算法等；还有无梯度学习算法或智能优化算法，如遗传算法、粒子群优化算法、差分进化算法、人工蚁群算法等。单目标优化模型既可优化网络连接权值(包括阈值)，也可同时优化网络结构和连接权值。多目标优化模型是一种新兴的学习模型，通常包括两个相互矛盾的目标，一个目标是最小化网络误差，另一个目标是最小化网络复杂度。其目的是在网络误差和网络结构方面获得一种最优的折中，从而达到对人工神经网络的自动设计。常用的多目标学习算法有多目标进化算法，如基于非支配排序的遗传算法，多目标粒子群优化算法，基于分解的多目标进化算法等。集成学习模型是改善神经网络泛化能力的有效策略。神经网络集成使用一组单个神经网络学习同一问题，这些单个神经网络的所有输出联合决定网络的最后的输出。集成学习方法主要包括：单个神经网络的产生方法和结果产生方法。经典的集成方法有套袋法(bagging)采用简单平均，而提升法(boosting)采用加权平均。

现有的人工神经网络学习模型，不论是单目标优化模型、多目标优化模型或是集成学习模型，学习过程都是一样的，即先训练神经网络的结构和权值，然后通过验证获得最佳的神经网络，最后测试神经网络的泛化能力。因此，训练好的人工神经网络就像一个“黑箱”，给出一个输入，得到一个输出，而并不需要知道数据处理过程。神经网络泛化能力是衡量其拟合新数据(预测能力)的指标，当然，在实际使用中需要泛化能力强的神经网络。神经网络泛化能力的强弱与很多因素有关，如对训练数据的过拟合和欠拟合，数据集有噪声，训练数据个数不足等。

通过上述分析，现有技术存在的问题及缺陷为：割裂了神经网络的训练过程和测试过程，把训练过程和测试过程看做是两个独立的过程，训练过程没有考虑到测试过程的反馈，因此，训练过程进行到什么程度应该停止训练，或训练误差到何种阈值该停止训练，目前没有有效的方法，全凭经验和反复试验。因此，如何平衡神经网络训练中的欠拟合和过拟合问题还是一个难题。

解决以上问题及缺陷的难度为：由于引起神经网络泛化能力差的因素很多，所以还没有一种有效策略来应对这一问题，需要分析欠拟合和过拟合问题出现的原因，重新设计神经网络学习模型和学习算法。

解决以上问题及缺陷的意义为：解决好欠拟合和过拟合的矛盾，有利于改善神经网络的泛化能力，提高神经网络在实际问题中的应用。

发明内容

针对现有技术存在的问题，本发明提供了一种用于模式识别与分类的双层学习模型构建方法、交互式学习方法及应用。