[发明专利]基于交互对抗学习的全聚焦图像生成方法

说明书

本发明属于图像信息处理技术领域，提供了一种基于交互对抗学习的全聚焦图像生成方法。本发明的全聚焦图像生成方法利用了交互对抗学习的方式，首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系，更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域；其次，目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像，而这种成对的图像难以获得。而本发明的方法不存在这个问题，仅利用不成对的全聚焦图像作参考，便可以实现具有全局一致性的、自然的全聚焦图像生成网络。

技术领域

本发明属于图像信息处理技术领域，特别是涉及全聚焦图像生成的方法。

背景技术

目前，与本专利相关的方法包括两方面：第一是非聚焦模糊检测算法；第二是基于生成对抗的图像生成算法。

非聚焦模糊检测方法主要分为两类：基于人工设计的传统方法，这种大多通过人工设计提取特征的方式，通常会利用图像梯度、频率及其他特征来构造检测器，完成非聚焦模糊区域检测。Golestaneh等人在文献《Spatially-varying blur detection based onmultiscale fused and sorted transform coefficients of gradient magnitudes》中提出基于高频多尺度融合和梯度大小排序变换的空间变化模糊检测方法，在每个像素处进行局部计算，确定模糊水平，通过人工设计特征提取的方式，设定参数搭建模型，因此模型复杂度较低，但也存在难以提取深层特征、鲁棒性较差的问题；基于卷积神经网络的深度学习方法，在这些方法中，大多以源图像作为输入，以非聚焦区域检测真值作为监督，使用多尺度或者多级特征融合等信息获取最终的检测结果图。Park等人在文献《A unifiedapproach of multi-scale deep and hand-crafted features for defocus detection》中将基于人工设计提取的特征与卷积神经网络提取的特征进行了结合，在图像块级别上检测非聚焦模糊，其中卷积神经网络用于从图像块中提取高维特征，所有特征级联后用于构建非聚焦模糊特征向量，并输入到全连接的神经网络分类器中来确定非聚焦模糊程度。相比较传统检测方法而言，深度学习的方法能够利用卷积神经网络提取更深层次的特征，从而提高非聚焦模糊区域的检测效果。

基于生成对抗的图像生成算法大多通过生成对抗网络来完成图像风格的转换。Christian等人在文献《Photo-realistic single image super-resolution usingagenerative adversarialnetwork》中提出了一种用于图像超分辨率重建的生成对抗网络，通过鉴别器的对抗损失来使生成结果更加接近自然图像，通过内容损失来注重于视觉上的相似性而不是在像素空间上的相似性，从而提升图像生成算法的效果。

将生成过程分为两个阶段：对非聚焦模糊图进行估计；利用生成对抗网络生成全聚焦图像。主要思想是使用一个对抗损失与参考图像，迫使生成的图像是高质量的。这提供了一种利用生成对抗网络来克服成对图像依赖性的潜在解决方案。

针对非聚焦模糊检测阶段，定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域仍旧是两个具有挑战性的问题。对于全聚焦图像生成阶段，最大的难题是获取成对的聚焦与非聚焦图像，因此，如何利用不成对的聚焦与非聚焦图像来完成该任务是当前研究的焦点。

发明内容

针对非聚焦过渡区域边界定位问题和纹理信息较少的同质区域检测问题，提出了一种基于交互对抗的全聚焦图像生成方法。它可以适用于多样、复杂的非聚焦模糊场景，均可以得到较好的全聚焦图像。它通过镂空-填充的交互学习，优化检测结果中聚焦到非聚焦过渡区域的边界，减少同质区域的黑洞噪声，从而得到准确的非聚焦模糊检测图，进行后续全聚焦图像生成。

本发明的技术方案：

一种全聚焦图像生成方法，步骤如下：