[发明专利]基于深度卷积神经网络的无价值图像去除方法

权利要求书

1.一种基于深度卷积神经网络的无价值图像去除方法，其特征在于步骤如下：

步骤1：对图像样本进行归一化后合并为矩阵patches，行数为row,row＝m×n，m,n为归一化的大小，列数为样本数量k，对矩阵patches进行零均值化处理：

mean_patch=Σi=1row(1kΣj=1kpatch(i,j))]]>

图像样本与均值矩阵相减存入patches，计算协方差矩阵sigma：

sigma=1k(patches·patchesT)]]>

对协方差矩阵进行SVD分解得到U,S,V矩阵，计算ZCA白化矩阵：

ZCA=U*diag(1sqrt(diag(S))+eplison)*UT]]>

其中，diag()表示构造协方差矩阵的对角矩阵，sqrt表示求均方根，eplison为正则化参数，将patches与ZCA相乘得到白化预处理后的图像数据，作为稀疏自编码器的输入；

步骤2：计算稀疏自编码器的损失函数：

Jsparse(W,b)=J(W,b)+βΣj=1s2KL(ρ||ρ^j)]]>

KL(ρ||ρ^J)=ρlogρρ^j+(1-ρ)log1-ρ1-ρ^j]]>

其中，x为图像样本的输入特征，y为输出值，h_W,b(x)是输入为x时的假设输出，是连接第l层j单元和第l+1层i单元的权值参数，是第l+1层i的偏置项，s_l是第l层的单元数目，n_l是网络中的层数，λ是权重衰减稀疏，ρ为稀疏值，为隐藏单元i的平均激活度，β是稀疏值惩罚项的权重；

对损失函数求偏导数，加入稀疏性的第l层第i个神经元节点的误差表达式为：

δi(l)=((Σj=1slWji(l)δj(l+1))+β(-ρρ^i+1-ρ1-ρ^i))f′(zi(l))]]>

是激活函数f(z)＝tanh(z)的求导，是第l层i单元所有输入的加权和；采用拟牛顿法中的BFGS优化出J_sparse(W,b)最小时的W和b，输出W和b作为多层深度卷积神经网络中卷积层的权重和偏置的初始化值；

步骤3：构建包含C₁卷积层、S₂降采样层、C₃卷积层、S₄降采样层和softmax分类层的多层深度卷积神经网络，输入图像在C₁卷积层上进行卷积后产生特征映射图，然后特征映射图通过S₂降采样层对像素进行求和、加权值、加偏置，之后再通过C₃卷积层进行卷积和S₄降采样层进行像素求和、加权值、加偏置，最终将得到的像素值光栅化连接成一个向量输入到softmax分类层；

所述的卷积使用的公式：

xjl=f(Σi∈Mjxil-1*Wijl+bjl)]]>

M_j表示选择的输入映射图的集合，表示W的第l层第i个神经元节点到第l+1层第j个节点的权值，表示b的第l层到第l+1层第j个节点的偏置，是第l层的输出特征图的第j个分量；

所述的降采样层使用的公式：

xjl=f(μjldown(xjl-1)+bjl)]]>

down(·)表示一个降采样函数，为乘性偏置，为加性偏置；

步骤4：利用softmax分类层的假设函数对特征向量x中的每一个类别j估算出概率值p(y＝j|x)，输出一个K维的向量表示这K个估计的概率值：

hθ(x(i))=p(y(i)=1|x(i);θ)p(y(i)=2|x(i);θ)···p(y(i)=K|x(i);θ)=1Σj=1KeθjTx(i)eθ1Tx(i)eθ2Tx(i)···eθKTx(i)]]>

其中，θ₁,θ₂,...,θ_K是训练模型参数，y⁽ⁱ⁾∈{1,2,...,K}，表示对概率分布进行归一化；

计算特征向量x为类别j的概率：

p(y(i)=j|x(i);θ)=eθjTx(i)Σl=1KeθlTx(i)]]>

添加一个权重衰减项来修改代价函数：

J(θ)=-1m[Σi=1mΣj=1K1{y(i)=j}logeθjTx(i)Σl=1KeθlTx(i)]+λ2Σi=1KΣj=0nθij2]]>

n为特征向量x的维度，1{·}为示性函数，对代价函数求导得：

▿θjJ(θ)=-1mΣi=1m[x(i)(1{y(i)=j}-p(y(i)=j|x(i);θ))]+λθj]]>

用梯度下降法最小化J(θ)实现softmax分类模型，去除无价值图像。