[发明专利]基于小生境粒子群优化算法的分类器集成的多层选择方法

说明书

所属领域  本发明涉及一种利用小生境粒子群优化算法来构建分类器集成的多层选择模型，从而能够提高系统集成的性能，本发明可以广泛应用于所有需要模式识别的场合。

背景技术  近年来，分类器集成方法在机器学习和数据挖掘领域吸引了越来越多的研究者的重视。研究者们通常认为，一个集成的性能在很大程度上依赖基分类器的两个方面：一个是基分类器的精确度，另一个是基分类器之间的差异度。一个具有差异度大并且准确的基分类器的集成将肯定具有比单个分类器更好的性能[Kittler，J.，M.Hatef，R.Duin，and J.Matas，On Combining Classifiers.IEEE Transactions on PatternAnalysis and Machine Intelligence，1998.20(3)：p.226-239.]。近十年来，一些研究者已经开发了一些建立差异度大的基分类器方法，其中著名的有随机子空间方法[Ho，T.K.，The Random Space Method for ConstructingDecision Forests.IEEE Transactions on Pattern Analysis and MachineIntelligence，1998.20(8)：p.832-844.]，Bagging和Boosting方法[Breiman，L.，Bagging Predictors.Machine Learning，1996.24(2)：p.123-140.；Kuncheva，L.I.，M.Skurichina，and R.P.W.Duin，An experimental Study onDiversity for Bagging and Boosting with Linear Classifiers.InformationFusion，2002.3(2)：p.245-258.]。随机子空间方法是随机选择不同的特征子集来做训练集以训练参加集成的基分类器。而Bagging算法则是随机选择不同的样本来做训练集训练基分类器。Boosting算法也是使用不同的样本来构建训练集，但和Bagging算法不同的是，在Boosting算法中，难以识别的样本将比容易识别的样本有更多的机会构成训练集以训练参加集成的下一个基分类器。当差异度大的基分类器形成以后，如何选择不同的基分类器参加集成将变得非常关键。一般认为好的组合方法不仅应该具有精度高的基分类器，同时应该具有较高的差异度。通常，这种分类器的选择称为集成选择技术(ensemble pruning)[Margineantu，D.D.and T.G.Dietterich.Pruning Adaptive Boosting in 14th InternationalConference on Machine Learning.1997]。使用分类器集成选择技术主要有两方面的原因：首先，选择部分基分类器集成其性能可能比全部参加集成要好[Zhou，Z.H.，J.X.Wu，and W.Tang，Ensembling Neural Networks：Many Could be Better than All.Artificial Intelligence，2002.137(1-2)：p.239-263.]。另一方面，普通集成方法需要大量的存储器以存储基分类器信息，而集成选择技术则能够在很大程度上减少这种存储资源的消耗，这对实际应该是非常有帮助的，能够进一步提高集成的效率。