[发明专利]基于深度卷积神经网络的无价值图像去除方法

摘要

本发明涉及一种基于深度卷积神经网络的无价值图像去除方法，首先对图像样本集合白化预处理后，利用稀疏自编码器进行预训练，得到深度卷积网络参数的初始化结果；其次，构建多层深度卷积神经网络，逐层优化网络参数；最后实现多分类的softmax模型对多类问题进行分类，实现无价值图像的去除。由于稀疏自编码器自动学习图像特征，因而提高了本发明的分类正确率。在稀疏自编码器自动学习图像特征的基础之上，构建多层深度卷积神经网络，逐层优化网络参数，每层学习后的特征都是前一层特征的组合结果，训练多分类的softmax模型对图像进行判定，实现无价值图像的去除。

主权项

一种基于深度卷积神经网络的无价值图像去除方法，其特征在于步骤如下：步骤1：对图像样本进行归一化后合并为矩阵patches，行数为row,row＝m×n，m,n为归一化的大小，列数为样本数量k，对矩阵patches进行零均值化处理：mean_patch=Σi=1row(1kΣj=1kpatch(i,j))]]>图像样本与均值矩阵相减存入patches，计算协方差矩阵sigma：sigma=1k(patches·patchesT)]]>对协方差矩阵进行SVD分解得到U,S,V矩阵，计算ZCA白化矩阵：ZCA=U*diag(1sqrt(diag(S))+eplison)*UT]]>其中，diag()表示构造协方差矩阵的对角矩阵，sqrt表示求均方根，eplison为正则化参数，将patches与ZCA相乘得到白化预处理后的图像数据，作为稀疏自编码器的输入；步骤2：计算稀疏自编码器的损失函数：Jsparse(W,b)=J(W,b)+βΣj=1s2KL(ρ||ρ^j)]]>KL(ρ||ρ^J)=ρlogρρ^j+(1-ρ)log1-ρ1-ρ^j]]>其中，x为图像样本的输入特征，y为输出值，hW,b(x)是输入为x时的假设输出，是连接第l层j单元和第l+1层i单元的权值参数，是第l+1层i的偏置项，sl是第l层的单元数目，nl是网络中的层数，λ是权重衰减稀疏，ρ为稀疏值，为隐藏单元i的平均激活度，β是稀疏值惩罚项的权重；对损失函数求偏导数，加入稀疏性的第l层第i个神经元节点的误差表达式为：δi(l)=((Σj=1slWji(l)δj(l+1))+β(-ρρ^i+1-ρ1-ρ^i))f′(zi(l))]]>是激活函数f(z)＝tanh(z)的求导，是第l层i单元所有输入的加权和；采用拟牛顿法中的BFGS优化出Jsparse(W,b)最小时的W和b，输出W和b作为多层深度卷积神经网络中卷积层的权重和偏置的初始化值；步骤3：构建包含C1卷积层、S2降采样层、C3卷积层、S4降采样层和softmax分类层的多层深度卷积神经网络，输入图像在C1卷积层上进行卷积后产生特征映射图，然后特征映射图通过S2降采样层对像素进行求和、加权值、加偏置，之后再通过C3卷积层进行卷积和S4降采样层进行像素求和、加权值、加偏置，最终将得到的像素值光栅化连接成一个向量输入到softmax分类层；所述的卷积使用的公式：xjl=f(Σi∈Mjxil-1*Wijl+bjl)]]>Mj表示选择的输入映射图的集合，表示W的第l层第i个神经元节点到第l+1层第j个节点的权值，表示b的第l层到第l+1层第j个节点的偏置，是第l层的输出特征图的第j个分量；所述的降采样层使用的公式：xjl=f(μjldown(xjl-1)+bjl)]]>down(·)表示一个降采样函数，为乘性偏置，为加性偏置；步骤4：利用softmax分类层的假设函数对特征向量x中的每一个类别j估算出概率值p(y＝j|x)，输出一个K维的向量表示这K个估计的概率值：hθ(x(i))=p(y(i)=1|x(i);θ)p(y(i)=2|x(i);θ)···p(y(i)=K|x(i);θ)=1Σj=1KeθjTx(i)eθ1Tx(i)eθ2Tx(i)···eθKTx(i)]]>其中，θ1,θ2,...,θK是训练模型参数，y(i)∈{1,2,...,K}，表示对概率分布进行归一化；计算特征向量x为类别j的概率：p(y(i)=j|x(i);θ)=eθjTx(i)Σl=1KeθlTx(i)]]>添加一个权重衰减项来修改代价函数：J(θ)=-1m[Σi=1mΣj=1K1{y(i)=j}logeθjTx(i)Σl=1KeθlTx(i)]+λ2Σi=1KΣj=0nθij2]]>n为特征向量x的维度，1{·}为示性函数，对代价函数求导得：▿θjJ(θ)=-1mΣi=1m[x(i)(1{y(i)=j}-p(y(i)=j|x(i);θ))]+λθj]]>用梯度下降法最小化J(θ)实现softmax分类模型，去除无价值图像。