[发明专利]基于变长度粒子群优化算法的极限学习机

摘要

一种基于变长度粒子群优化算法的极限学习机，包括步骤：(1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；(2)计算每个粒子对于评价函数的适应值f(p_i)；(3)比较各个粒子的行数与全局最优解的行数的大小关系，选择不同的更新公式对各个粒子的速度和位置进行更新，生成下一代粒子群；(4)最优隐元个数及相应的输入权重和隐元偏置；(5)计算输出权重，得到使得交叉验证精度最高的ELM分类器。利用变长度粒子群优化算法自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

主权项

1.一种基于变长度粒子群优化算法的极限学习机，其特征是，包括以下步骤：(1)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为L×(n+1)的二维实数矩阵：pi=w11w12...w1nb1w21w22...w2nb2...............wL1wL2...wLnbL,]]>其中，p_i的行数L表示为该ELM分类器的隐元个数，(w_j1 w_j2 … w_jn b_j)表示第j个隐元的输入权重和偏置，j=1，…L，n为输入层神经元个数，即数据集特征维数；(2)计算每个粒子对于评价函数的适应值f(p_i)，评价函数f(x)定义为分类器的交叉验证精度；(3)对各个粒子的速度和位置进行更新，生成下一代粒子群；v_i(t)，p_i(t)分别表示第t代粒子群中第i个粒子的速度和位置，表示第i个粒子在t代进化中产生的局部最优解，表示在t代进化中产生的全局最优解，按照p_i(t)的行数与的行数是否相等，采用不同的更新公式；①如果p_i(t)的行数与的行数相同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解所代表的ELM分类器具有同样的隐元个数，那么，vi(t+1)=ωvi(t)+c1r1(pi*(t)-pi(t))+c2r2(pg*(t)-pi(t)),]]>p_i(t+1)=p_i(t)+v_i(t+1)。其中ω为惯性因子，r₁，r₂是[0，1]均匀取值的随机数，用来保持粒子的多样性，c₁，c₂是学习因子，为正常数，c₁，c₂=1.5，惯性因子ω的计算如下：ω=ωmax-ωmax-ωminitermax×t,]]>其中，ω_max，ω_min分别为ω的上、下界，ω_max=1.2，ω_min=0.73，iter_max=200为最大的迭代代数，t为当前的迭代代数；②如果p_i(t)的行数与(t)的行数不同，即第i个粒子p_i(t)所代表的ELM分类器与全局最优解(t)所代表的ELM分类器的隐元个数不相同，又分为两种情况：a.如果p_i(t)的行数nr_i大于(t)的行数nr_g，那么从p_i(t)中随机选取nr_g行构成(t)，从v_i(t)中选择相应的nr_g行构成，从局部最优解(t)中选择相应的nr_g行构成(t)，分别表示为：pi′(t)=pi(t)(nrgnri),]]>vi′(t)=vi(t)(nrgnri),]]>pi*′(t)=pi*(t)(nrgnri).]]>划掉这nr_g行后，p_i(t)，v_i(t)，(t)剩余的部分分别用(t)，(t)，(t)表示；从而，第i个粒子p_i(t)的更新分为两部分：分别是对(t)和(t)的更新；对于(t)，vi′(t+1)=ωvi′(t)+c1r1(pi*′(t)-pi′(t))+c2r2(pg*(t)-pi′(t)),]]>pi′(t+1)=pi′(t)+vi′(t+1),]]>对于(t)，v‾i′(t+1)=ωv‾i′(t)+c1r1(p‾i*′(t)-p‾i′(t)),]]>p‾i′(t+1)=p‾i′(t)+v‾i′(t+1),]]>更新之后，(t+1)和(t+1)按照原先在p_i(t)中的行位置进行组合，构成p_i(t+1)；同样的，(t+1)和(t+1)组合成v_i(t+1)；b.如果p_i(t)的行数nr_i小于(t)的行数nr_g，那么从(t)中随机选取nr_i行构成(t)，用下式表示：pgi*(t)=pg*(t)(nrinrg),]]>则更新公式定义如下：vi(t+1)=ωvi(t)+c1r1(pi*(t)-pi(t))+c2r2(pgi*(t)-pi(t)),]]>p_i(t+1)=p_i(t)+v_i(t+1)，第t+1代第i个粒子的局部最优解(t+1)根据下式进行更新：pi*(t+1)=pi*(t),iff(pi(t+1))≤f(pi*(t))pi(t+1),iff(pi(t+1))>f(pi*(t)),]]>其中f(x)表示为粒子群优化算法中的评价函数；粒子群中所有粒子更新后，根据下式更新第t+1代粒子群的全局最优解，pg*(t+1)=maxpi*(f(p1*(t+1)),f(p2*(t+1)),···,f(pm*(t+1)));]]>尽管粒子群中不同粒子的行数是不相同的，但是，第i个粒子在整个进化中的行数是保持不变的；(4)如果达到最大迭代次数，则停止迭代，输出最优解，其最优解对应于能够使得交叉验证精度最高的ELM分类器，即最优隐元个数及相应的输入权重和隐元偏置；否则，转到步骤(2)；(5)根据最优隐元个数及相应的输入权重和隐元偏置计算输出权重，从而得到使得交叉验证精度最高的ELM分类器。