[发明专利]基于小生境粒子群优化算法的分类器集成的多层选择方法

摘要

本方法涉及基于小生境粒子群优化算法的分类器集成的多层选择方法，属于模式识别领域。本方法包括：(1)对构成集成的基分类器构建二值输出向量；(2)制定集成选择标准；(3)选定集成的选择表示方法；(4)使用小生境粒子群优化算法构建多层集成选择模型。首先，本方法对训练出来的参加集成的基分类器使用验证集和训练集构建二值输出向量，然后通过小生境PSO算法，选择上一层中不同的二值输出向量参加本层中不同的集成，从而构建了一个多层选择模型。其优点是：通过构建一个多层选择模型，能够充分利用基分类器的有用信息，因而能获得比原始的多分类器集成更高的精度和可靠性。

主权项

1.一种基于小生境粒子群优化算法的分类器集成的多层选择方法，其特征是：(1)对基分类器构建一个二值输出向量(Oracle Output)设共有L个分类器参加集成，D＝{D₁，….D_L}，y_i＝[y_i1，….，y_iL]^T为L个分类器对输入样本x_i的识别输出。每个分类器均为标签分类器，其中y_ij是指第j个分类器对第i个训练样本的识别输出。每个分类器输出中能够正确识别该样本，则对应的y_ij＝0，不能正确识别，则对应y_ij＝1，通过这种方式，构成了一个分类器多层选择模型的基础。(2)制定集成选择标准在集成选择中，选择标准是非常重要的。在实际应用中，最常用的选择标准即基于验证集的大多数投票错误(majority voting error，MVE)。在本专利中，所有的输出都是基于前一层中的二值输出向量的。对于本专利所提出的多层集成选择模型，如果提供足够多和差异度大的二值输出(oracle output)，则很可能会出现过拟合现象。因此，本专利提出了一种新的选择标准，使用的是平均大多数投票错误率的计算不仅根据验证集，而且根据训练集，它主要希望训练集和验证之间的误差尽可能是接近。因而能最大可能减小系统的泛化错误。(3)集成的选择表示方法在多层集成选择模型中，每一个集成可以通过发现一个选择向量(pruning vector)来表示对应的选择结果，假定H_i＝[h_i1，……，h_iL]^T为第i层的选择向量，其中h_ij表示对应的第j个分类器或二值输出是否被加入到集成中，当h_ij＝1时表示对应的输出或分类器被包括在集成中，如果为零则将该分类器或输出排除在集成之外。因此，在多层集成选择模型中，对每一个集成需要发现这样一个合适的二值向量以选择对应的分类器或输出。在这里，使用小生境粒子群优化算法来发现这样的二值向量。(4)小生境粒子群优化算法使用一种多子群并行小生境PSO算法，算法能够有效地模拟一个自然的生态系统，其中不同的子群之间互相竞争。在竞争以后，胜利者将继续探索原来的区域(小生境)，而失败者将被迫探索其他的区域(小生境)。在算法中，具体的实现是通过小生境识别技术来判断探索中的两点是否位于同一小生境，其他子群中粒子进入胜利者所拥有的小生境，则通过罚函数方式，迫使该粒子离开其他子群所拥有的小生境。罚函数如下式所示：eval(xni)=f(xni)if hill_valley(xni,xkbest)=1f(xni)-p(xni)otherwise---(1)]]>上式中，xⁱ_n表示第n个子群中第i个粒子位置，f(xⁱ_n)为该粒子原始的适应度值。x_k^best是第k个子群中最优粒子的位置，k不等于n，p(xⁱ_n)是罚函数，在这里可以取一个较大的常数。原始的粒子群优化是一种基于实值的算法，在本专利中，Kennedy等所提出的一种简单的二进制版本的PSO算法被采用。在该算法中，粒子的速度被用来作为一个概率来决定对应的位为零还是一。整个数学描述如下所示：S(v)=11+exp-v---(2)]]>xid=1ifrand(*)≤S(v)0otherwise---(3)]]>在上面的公式中，v表示对应粒子的速度，rand(*)是一个均匀分布在[0，1]之间的随机数。粒子的状态只有两种情况1或0，而速度V与某个概率阈值相关，速度越大，则粒子位置取1的可能性越大，反之越小。(5)多层集成选择模型的构建在多层模型中，每一层中将有多种不同的选择集成。底层是由基分类器所产生的二值输出向量(Oracle output vector)所组成。整个多层选择模型以第一层中的二值输出向量为基础，每层将依赖上一层而选择出多种不同的、性能优秀的集成，而新的集成的结果又组成一个二值输出向量，这样就有机地构成了一个新颖的集成多层选择模型。每一层的多个集成选择问题被看成是一个多模优化问题，小生境PSO算法被用来在每一层中发现多组最优的选择集成，从而在实践中最终实现了分类器多层选择模型。