[发明专利]基于自动目标提取的全聚焦合成孔径成像方法

摘要

本发明公开了一种基于自动目标提取的全聚焦合成孔径成像方法，用于解决现有全聚焦合成孔径成像方法成像精度差的技术问题。技术方案是将全聚焦合成孔径成像，看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦区域和聚焦目标的估计，利用目标提取方法最终将目标和估计的非聚焦区域自然镶嵌，实现无散焦模糊的全聚焦合成孔径成像，解决利用迭代计算可视像素点错误易于传递而导致精度差的技术问题。本发明充分利用多视角信息，将全聚焦合成孔径成像看作是聚焦目标和非聚焦平面的联合成像问题，通过非聚焦和聚焦目标的估计，利用目标提取技术最终将目标和背景自然镶嵌，实现了无散焦模糊的全聚焦合成孔径成像，成像精度高。

主权项

1.一种基于自动目标提取的全聚焦合成孔径成像方法，其特征在于包括以下步骤：步骤一、利用相机阵列从不同视角同时捕获的信息对非聚焦区域进行重建；通过图像片段从不同视角选取像素值；将非聚焦区域估计问题等价于最优标记问题并通过能量最小化计算，其中标记表示用以重建非聚焦区域的像素的相机序号；W₁，...W_k，...W_N表示N个相机视角采集的图像，M表示某相机视角采集图像中的像素集，m表示第k个相机采集图像中的像素，m∈M，W_k(m)为其像素值；F＝{f_m}_m∈M表示输出像素标记的集合，I表示集合中像素所在图像的相机序号；估计的非聚焦区域由各相机采集图像的像素得到，其中为最小代价标记，为像素m在非聚焦区域中的成像，为标记代价最小的像素m的成像；定义标记F的能量函数E(F)，包括数据项和平滑项；式中，表示临近像素对的集合；D_m(f_m)为像素m分配标记f_m的代价，V_mn(f_m，f_n)为临近像素对(m，n)分配标记f_m，f_n的代价；计算单像素标记代价Dm(fm)式中，表示色彩稳定项，表示运动边界的连续项；色彩稳定项代价的计算基于与第f_m帧临近各帧中的像素m的像素值W_f(m)；令表示从f₁帧到f₂帧中像素值I_f(m)的平均值，计算式中，r表示被认为可用于计算色彩稳定项的第fm帧前后的帧数；假设第f_m帧为背景图像，其他帧为f；设第f_m帧与第f帧的图像差为当与I_f从匹配度由高变为低时，其梯度较大，因此在第f帧的该区域中背景去除算法需添加一个运动边界；连续项的计算需要该区域的边缘强度；采用较大的运动梯度与较小的强度梯度计算该区域的惩罚，计算其中当且仅当第f_m帧的像素m在第f帧中应用运动边界，且第f帧中没有强度边缘时，第f帧的连续项代价较大，ε²为一常数，保证当不存在运动梯度与强度梯度时结果不为0；应用公式(5)计算对称代价Vmn(fm，fn)当fm与fn匹配良好时，该项包含两幅帧中均可见的背景区域，理想状态为从一帧复制到另一帧；当fm≠fn时，若使用连续代价，则需一个复制转换的惩罚；在包含运动物体的区域，V_mn(f_m，f_n)将较大，反之，若物体暂时静止，则V_mn(f_m，f_n)与均较小；依据连续项代价来避免物体被分割移除；常量β，λ用以改变运动边界的稳定项和连续项以及无缝分割的权重；通过初始化所有标记以及迭代计算，最终得到能量函数E(F)的最小值，并得到对应标记F；采用上述估计模型，获得一个清晰的非聚焦区域步骤二、采用基于二值像素标记的合成孔径成像方法，在聚焦到期望平面的结果图像中，每个像素通过从不同视角获取的对应且不受遮挡的像素的平均值求得；假设选取一个连续的平面集，这些平面平行于相机平面，深度在被遮挡目标的深度范围之内；设Pη为平行于相机平面，深度为η的焦平面；能量函数E(f)包含数据项和平滑项，E(f)＝Ed+8Es，  (6)式中，f为标记，能够为每个像素W_k(m)分配一个标记L为0或1，W表示某图像，k表示相机序号，m表示任意像素点；在一个像素集中，通过计算聚焦深度为η的平面中位于m处对应像素的强度方差得到每个像素的代价，数据项E_d是这些像素代价的加和其中以及minvarη=argminm∈s(varη(m))  (10)minvarη=argminm∈s(varη(m))  (11)式中，S为合成孔径成像图像；依据参考图像W_rη中相邻像素的色彩相似性，平滑项E_S基于标准的4邻居系统得到，式中，为一标准的4邻居系统，S_η(m),S_η(n)为合成孔径成像图像中相邻的两像素点；若一个像素m属于遮挡物，因遮挡物不在焦平面上，m将出现在变换后图像中的不同位置，因此，用于计算合成图像的像素集的方差将会较大；相反，若m属于被遮挡物体，因该物体位于焦平面上，像素集的方差将会较小；对于平滑项，若相邻像素的色彩相似，则这些像素更有可能属于同一物体；若公式(12)给出一个较小的惩罚结果，则表示它们可能属于遮挡物，反之，结果将较大；步骤三、利用步骤二的标记结果，每个相机的视角被分为受到遮挡或不受遮挡；当这些图像通过计算平均值进行融合时，只有被标记为不受遮挡的像素被使用；公式(14)的计算除去了来自遮挡物像素的影响，因此，被标记的合成图像将更清晰；在结果图像中可观察到若干黑色区域，因为在这些区域缺少色彩相似性；为解决该问题，使用估计的背景来填补在合成孔径成像中被标记为黑色的区域；步骤四、由上述方法计算出之后，使用公式(15)计算模糊系数α；式中，为待观察的输入图像；A表示的前景，B表示其背景；α_m是像素m的透视系数；应用色彩线性模型，得到且有式中，w表示一个尺寸为3×3的窗口，c表示RGB色彩空间的通道；色彩线性模型通过一个最小化代价函数得到一个关于α，a和b的闭合式解决方案式中，wm为一个中心位于像素m的窗口，i为窗口内任意像素，ac和b可从代价函数中排除，在α中产生一个未知的二次代价，ε为数据稳定系数；步骤五、根据透视系数αm，应用公式(18)计算得到全聚焦合成孔径成像结果；式中，表示像素m处最终的全聚焦合成孔径成像结果，表示像素m处的被遮挡目标，表示像素m处的非聚焦估计区域。