[发明专利]多聚焦序列图像融合方法

说明书

技术领域

本发明属于光学图像处理领域，涉及一种多聚焦序列图像融合方法，尤其涉及一种基于Mean-Shift彩色图像分割的Region Based应用于拓展光学成像系统景深的彩色或具有灰度序列图像的多聚焦序列图像融合方法。

背景技术

由于光学镜头景深的限制，成像系统通常只能对物方一定区域以内的目标清晰成像，而超出这一区域的目标则无法被清晰成像。较浅的光学景深对目标属性的识别是不利的，一个典型的例子就是显微成像系统(Microscopic System)。高数值孔径的显微成像系统虽然具备较高的空间分辨率，但其所具有的光学景深非常之浅，以至于每次只能针对目标样本极薄的一个纵切面进行清晰成像。此时，为了获得完整的样本图像信息，就必须不断调节对焦平面。然而，这种方式既费时又费力，而且无法利用一幅图像完成对样本特征的准确提取和判别。因此，扩展光学成像系统的景深就成为了学术界和工业界研究的热点，而多聚焦图像融合是实现这一目的有效技术途径之一。

改变光学镜头的对焦平面位置，就可以获得对焦于目标场景中不同深度位置的多聚焦图像序列。每一幅位于序列中的图像，都由聚焦清晰的像素集合和散焦的像素集合组成。如果能够将这些图像中的清晰像素提取出来并再次组合，那么就可以构建一幅场景中不同深度位置都清晰的大景深图像——这就是多聚焦序列图像融合的基本思路。多聚焦序列图像融合既可以在空间域进行，也可以在频率域进行。在空间域，依靠清晰度评价因子FM(Focus Measure)，就能够从序列图像中识别并找出目标场景各个空间位置处最清晰的像素，从而直接融合获得大景深图像。在频率域，序列图像首先被转化到变换域，比如离散傅里叶变换域、小波变换域等；之后，选出各频率分量中的系数最大值作为融合图像相应频率的系数；最后通过反变换得到大景深图像。

对于空间域融合来说，清晰度评价因子的计算是最为重要的第一环。根据计算FM作用域的不同，空间域多聚焦序列图像融合方法可以被分为三类：像素级融合(Pixel Based)、规则分块级融合(Block Based)以及不规则分区域级融合(Region Based)。

由于清晰度评价因子FM本质上属于高频滤波算子，所以图像中的噪声，尤其是平坦区域会对其计算的准确性带来干扰。因此，在实施像素级融合时，一方面，依靠评价因子给出的目标图像相应空间位置处最清晰的像素属于序列中哪一幅图像的判断可能出现错误；另一方面，由于计算所采用的信息仅仅来自于该像素周围极为有限的邻域，所以像素之间的物理关联并不能被反应出来。在这种情况下，就会出现聚焦清晰像素与散焦像素相互渗透，严重耦合，互为类似噪声的现象(图1中原始场景左边清晰右边模糊，图2中原始场景左边模糊右边清晰，图3中深色代表融合图像该位置的像素来自于原始场景的左边，而浅色则代表来自于原始场景的右边)(如图1、图2以及图3所示)，从而需要复杂的后处理算法进行修正。此时，融合图像的视觉品质就难以保证，甚至可能出现融合失败的情况。

为了提升融合图像的品质，规则分块级融合方法(Block Based)被提出。这种方法首先将图像分割为NxN个规则区域，之后将每一个块作为清晰度评价因子FM计算的作用域。对于每一个块，给出一个清晰与否的判断，并将挑选出的块作为最小单元获取融合图像。然而，这种方法有可能会在相邻两个块连接的边缘出现明显的人工融合边界。另外，当每一个区域只有一个像素时，这种方法实际上就退化成了像素级的融合方法。因此，当每一个分割块所含像素较少时，依然存在如图3所示情况的可能。

考虑到像素级融合和规则分块级融合所存在的天然缺陷，不规则区域级融合方法(Region Based)被提出。在这种融合方法中，首先利用图像分割算法获得多个自然分割区域，并以此作为清晰度评价因子FM计算的作用域。与规则分块级融合方法相比，这种方法最大的优势在于保证像素之间的物理关系不被人为地破坏(比如人像图像中属于脸部的像素依然被划分到同一个集合中)，因而从根源上消除了误识别清晰像素和散焦像素的相互干扰问题，而且由于更加符合人眼观察事物特征的规律，所以从理论上来讲，其所获得的最终的融合图像品质在上述三种方法中应该是最高的。因此，不规则区域级融合方法(Region Based)成为了目前研究的热点。

目前，已有的文献中针对该类方法的研究存在两个明显的问题：(1)多采用两幅图像进行，这对融合效果的验证过于简化，因为当序列图像的数量大于2时，算法的适用性将有待考量；(2)融合多在灰度或亮度空间进行，不符合现有彩色图像占主流应用的现状，而且针对彩色图像的分割和清晰度评价从策略上与单通道应用存在差别。

发明内容