[发明专利]一种基于ELM的多类Adaboost集成学习方法

摘要

本发明公开了一种基于ELM的多类Adaboost集成学习方法，具体包括以下几个步骤：ELM方法、多类Adaboost方法、LBP方法，此外还通过使用PCA方法来局部替换做测试。本发明将ELM方法作为基础分类器，由于其运算简便快速以及良好的性能，与现有的经典方法相比，本申请的方法可以直接应用于多分类问题。通过人脸数据集的对比实验，实验结果表明，本方法可以使预测的分类结果更加稳定，还具有良好的泛化性能。

主权项

一种基于ELM的多类Adaboost集成学习方法，其特征在于：包括以下几个步骤：a)ELM方法：对于N个任样本(x_i,t_i)，x_i＝[x_i1,x_i2,…,x_id]^T∈R^d，t_i＝[t_i1,t_i2,…,t_iK]^T∈R^K，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型为：${\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i\left(x_j\right)={\mathrm{\Σ}}_{i=1}^L{\mathrm{\β}}_i{h}_i(w_i\·x_j+b_i)=o_j;$其中j＝1,2,…,N，w_I＝[w_i1,w_i2,…,w_id]^T表示连接第i个隐层节点和输入节点的权重向量，而β_i＝[β_i1,…,β_iK]^T则表示连接第i个隐藏节点和输出节点的权重向量，o_j＝[o_j1,o_j2,…o_jk]^T表示该单隐藏层前馈神经网络的第i个输出向量，b_i则是第i个隐藏节点的阈值，(·)则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活函数h(x)可以简写表示为Hβ＝T；b)主成分分析方法：PCA方法的主要过程如下：$X={\left(x_{\mathrm{ij}}\right)}_{n*p}=\begin{array}{c}\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ x_{n1}& x_{n2}& ...& x_{\mathrm{np}}\end{array}\right];\end{array}$(b1)计算数据矩阵X的协方差矩阵V；(b2)通过公式|V‑λΕ|＝0计算矩阵V的特征值λ，其中λ₁≥λ₂≥…≥λ_p；(b3)通过(V‑λΕ)β＝0计算相应的特征向量，其中β为β₁,β₂,…,β_p；(b4)算出最后的主成分矩阵Y_r＝β′_rX(r＝1,2,…,p)；其中E是一个单位矩阵，E的维度同矩阵V，矩阵Y由n行向量组成，每一个向量是矩阵X特征值所对应的特征向量；c)多类Adaboost方法：预先定义函数I(x)为：$I\left(x\right)=\left\{\begin{array}{cc}1,& \mathrm{ifx}=\mathrm{true}\\ 0,& \mathrm{ifx}=\mathrm{false}\end{array}\right.,$首先给定训练数据{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)},其中x_i∈R^d表示维度为d的第i个输入特征向量，相对的y_i则表示第i个特征向量所属的类别标签，这里令y_i∈{‑1,+1}分为两类，通过使用T_j(x)函数来表示第i个若分类器，同时假定一共含有M个若分类器，执行以下步骤：(c1)初始化每个节点的观测权值ω_i为1/N,i＝1,2,…,N；(c2)对于每一个分类器m，m＝1:M,执行如下：通过使用权值ω_i在分类器T_m(x)下训练相应的数据；计算对应的分类误差：${\mathrm{err}}_m=\frac{{\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_{i}I(y_i\≠T_m\left(x_i\right))}{{\mathrm{\Σ}}_{i=1}^N{w}_i};$用以上求得的误差来计算相应的第m个分类器的权重对所有i＝1,2,…,N，更新数据样本的权值：ω_i＝ω_i·exp(α_m·I(y_i≠T_m(x_i)))；对所有i＝1,2,…,N重新标准化权值ω_i；(c3)输出C(x)，由分类器进行投票得到最后的结果$C\left(x\right)=\arg {\max }_k{\mathrm{\Σ}}_{m=1}^M{\mathrm{\α}}_m\·$$I(T_m=k).;$d)LBP方法：将一幅图划分成3*3的窗口，每个窗口含一个像素灰度值，将周围点的值分别于中心点的值做比较，如果大于中心点的值就标注是1，否则就标为0；最终经过对比得到一串8位的二进制数，对应的就可以计算该值，即LBP值；对应的公式可记为：其中(x_c,y_c)是中心像素，i_c对应的灰度值；而i_p则是相邻像素点的灰度值，s是一个符号函数：$s\left(x\right)=\left\{\begin{array}{cc}1,& \mathrm{ifx}\≥0\\ 0,& \mathrm{else}.\end{array}\right..$