[发明专利]基于卷积神经网络的合成孔径聚焦成像深度评估方法

权利要求书

1.一种基于卷积神经网络的合成孔径聚焦成像深度评估方法，其特征在于由下述步骤组成：

(1)构建多层卷积神经网络

对于网络的输入图像，统一尺寸为227×227×3，其中，227×227为输入图像的分辨率，3为输入图像具有三个彩色通道的像素信息；

卷积神经网络包含5个卷积层，3个池化层和3个全连接层；在卷积层中，对输入的图像进行卷积操作：

式中G(x，y)为卷积层输出矩阵中的元素，F(x，y)为卷积层输入矩阵中的元素，H(a，b)为卷积核中的元素，x、y分别为矩阵中的第x行、第y列，a、b分别为卷积核中的第a行、第b列，I为输入矩阵的大小，J为卷积核的大小；经过卷积操作后，卷积层的输出矩阵在激活层被ReLU函数激活：

R(x，y)＝max(0，G(x，y)) (2)

式中R(x，y)为激活层输出矩阵中的元素；激活层的输出矩阵在池化层进行下采样操作：

U(x′，y′)＝max(R(x+m，y+n)) (3)

式中U(x′，y′)为池化层输出矩阵中的元素，m、n为[0，ΔI]中的整数，ΔI是下采样的步长为有限的正整数；在池化层后构建归一化层，将U(x′，y′)规范得到归一化层输出矩阵中的元素：

式中V(x，y)为归一化层输出矩阵中的元素，U_c(x，y)为输入矩阵第c条通道的池化层输出元素，σ是缩放常数为0.0001，μ是指数常数为0.75，M为输入矩阵的通道数；全连接层处理池化层的输出，以0.3～0.5的概率舍弃全连接层中的元素；

(2)采集并生成合成孔径图像

用由8～16个相机水平组成的相机阵列拍摄目标物体，采集各个位于不同视角的相机图像，用公式(5)得到投影到参考平面π_r的图像

W_ir＝H_i·F_i (5)

式中F_i为各个相机所拍摄到的图像，W_ir为F_i经过仿射变换投影到平面π_r的图像，H_i为从F_i投影到参考平面π_r的仿射矩阵，式中i为1，2，…，N，N为相机阵列中相机的数量，用公式(6)得到聚焦到平面π_d所需要平移的视差Δp

Δp＝ΔX·μ (6)

式中ΔX为相机之间的相对位置，μ为平面π_d与参考平面π_r的相对深度，相对深度

μ＝(d-r)/d (7)

式中d为平面π_d的深度，r为参考平面π_r的深度；用公式(8)对W_ir中的像素进行平移，平移后的齐次坐标为

式中p_ir为W_ir中像素的齐次坐标，θ^T为零向量的转置，Δp_id为横向和纵向视差构成的二维向量，用公式(9)得到合成孔径图像中像素所对应的像素值S(p_d)

式中N为相机阵列中相机的数量，Y(p_id)为像素p_id所对应的像素值；

(3)对合成孔径图像进行分类

一幅合成孔径图像中的聚焦部分包含场景中位于聚焦平面上的物体，该合成孔径图像被分类为聚焦类；一幅合成孔径图像中的聚焦部分未包含场景中位于聚焦平面上的物体，该合成孔径图像被分类为非聚焦类；

(4)训练构建的卷积神经网络

将输入图像的分辨率调节为227×227，按照步骤(1)中的卷积、激活、下采样、归一化和全连接操作，完成网络中前向传播过程；

用下式确定网络中聚焦与非聚焦标签各自的概率：

式中x_n，k为分类器的输入，p_k，n为在共K个类别中第k个类别的概率；根据得到的概率，确定网络中损失函数的函数值：

式中L(x)为损失函数的函数值，N_m表示网络在一次迭代中训练的图像数量；

确定损失函数关于权重的偏导数更新网络中各个神经元之间的权重，更新方法如下：

w_i+1＝w_i+Δw·α (12)

式中w_i为第i次迭代过程中神经元的权重，α是网络的学习率为0.0001～0.001；

(5)判断合成孔径图像聚焦程度

用训练后的模型得到合成孔径图像聚焦类和非聚焦类的概率；输入的合成孔径图像聚焦类的概率大于或等于非聚焦类的概率，合成孔径图像聚焦；小于非聚焦类的概率，合成孔径图像非聚焦。

2.根据权利要求1所述的基于卷积神经网络的合成孔径聚焦成像深度评估方法，其特征在于所述的采集并生成合成孔径图像步骤(2)为；用由12个相机水平组成的相机阵列拍摄目标物体，采集各个位于不同视角的相机图像，用公式(5)得到投影到参考平面π_r的图像

W_ir＝H_i·F_i (5)

式中F_i为相机移动过程中各帧视角所对应的图像，W_ir为F_i经过仿射变换投影到平面π_r的图像，H_i为从F_i投影到参考平面π_r的仿射矩阵，式中i为1，2，…，N，N是相机阵列中相机的数量为12，用公式(6)得到聚焦到平面π_d所需要平移的视差Δp

Δp＝ΔX·μ (6)

式中ΔX为相机之间的相对位置，μ为平面π_d与参考平面π_r的相对深度，相对深度

μ＝(d-r)/d (7)

式中d为平面π_d的深度，r为参考平面π_r的深度；用公式(8)对W_ir中的像素进行平移，平移后的齐次坐标为

式中p_ir为W_ir中像素的齐次坐标，θ^T为零向量的转置，Δp_id为横向和纵向视差构成的二维向量，用公式(9)得到合成孔径图像中像素所对应的像素值S(p_d)

式中N为相机阵列中相机的数量12，Y(p_id)为像素p_id所对应的像素值。