[发明专利]一种基于改进AdaBoost算法的集成深度信念网络图像识别方法

权利要求书

1.一种基于改进AdaBoost算法的集成深度信念网络图像识别方法。为有效地利用深度信念网络(DBN)模型识别图像，本发明在控制网络模型规模和减少训练时间的同时能获得良好的图像表达能力，提高了模型对图像的识别率，从而解决了高识别率与深网络模型规模之间的矛盾，为有效地对图像进行分类与识别提供一种有效的方法。其特征在于：

(1)构建n个规模不同(主要是网络的层数)且相互独立的并行深信念网络(DBN)模型及对应的n个DBN弱分类器；

(2)利用AdaBoost算法计算每个DBN弱分类器所分配的权值以及每个样本经过分类器后的权值，并将这n个DBN弱分类器依据其权值集成为强分类器；

(3)在利用BP算法整体性微调强分类器参数时，将其整体残差依据各弱分类器的贡献率按比例地进行传递。

2.根据权利要求1所述的一种基于改进AdaBoost算法的集成深度信念网络图像识别方法，其特征在于：以归一化的图像向量作为输入对每个DBN模型进行预训练，即贪心地逐层训练DBN中的每个RBM，并在堆叠RBM之上增加一层网络作为分类器，这样可得到n个DBN弱分类器C₁,C₂,...,C_n。

3.根据权利要求1所述的一种基于改进AdaBoost算法的集成深度信念网络图像识别方法，其特征在于：对第i个DBN网络，计算弱分类器C_i的权值α_i和第j个样本经过分类器C_i后权值的调整值D_i(j)，这里分类器权值由其错误率ε_i决定，而样本权值与该样本分类正确性相关，i＝1,2,...,n，j＝1,2,...,N。α_i和D_i(j)具体计算公式分别为

和

其中，Z_t为归一化系数，Output_i(j)表示第i个个分类器对第j个样本的分类结果，y(j)表示第j个样本的标签。该过程不断迭代直到收敛条件满足。

4.根据权利要求1所述的一种基于改进AdaBoost算法的集成深度信念网络图像识别方法，其特征在于：归一化各分类器的权值系数，并由AdaBoost集成多个DBN分类器而得到的强分类器。为了能够利用BP算法对强分类器参数进行整体性微调，定义强分类器的残差损失函数为

loss=Σj=1NF(Σi=1n(αi×Output_i(j))|y(j))]]>

其中，F为衡量输出与标签间的距离函数(这里取F(O|y)＝||O-y||₁)。于是通过以下优化问题实现对强分类器参数的整体微调

minθ{θ1,θ2,...}loss=Σj=1N||{Σi=1nαi×Output_i(j)}-y(j)||1=Σj=1N||{Σi=1nαi×(Output_i(j)-y(j))}||1.]]>

这里采用随机梯度下降法来调整整个网络模型中的参数。由于各个DBN中的参数是相互独立的，所以损失函数关于参数θ_i的梯度为

∂∂θiloss=∂∂θiΣj=1Nαi×(Output_i(j)-y(j))=∂∂θiΣj=1Nαi×(lossi(j)).]]>

在微调强分类器参数时，强分类器的整体残差依据各弱分类器的贡献度按比例传递。每个分类器的残差由贡献度和自身的差值决定。分类器权值越大，残差反向传播中网络参数被调整相对越多；分类器权值越小，残差反向传播中网络参数被调整相对越少。