[发明专利]基于主辅协同双光路设计的全向成像方法

说明书

技术领域

本发明属于图像信息处理领域，具体涉及全向成像方法。 

背景技术

全向图像/视频能覆盖大范围的宽视角场景，凭借360度视角的优势，近年来吸引了大量计算机视觉、光学仪器等交叉领域研究人员在基础理论、产品设计、应用开发等多方面展开研究。全景成像技术大致分为单相机旋转式[1]、鱼眼成像[2]、拼接成像[3]和折反射成像[4]等几类。其中，反射面与折射透镜相结合的折反射成像方式是近年来研究较为集中的成像方式，其原理是利用曲面反射镜收集来自三维空间360度范围内物体的光线，并将其反射到光学成像系统成像。原始采集的折反射全向图存在严重的同心圆环状变形，不适合于直观反映真实的自然界场景，在实际应用中通常需要将其展开为更符合人眼视觉习惯的柱面全景图像，如图2所示。 

然而，折反射全向成像固有的空间分辨率低、分辨率不均匀、散焦模糊等基础问题日益成为影响全向成像清晰度的最主要因素，严重限制了折反射全向成像技术的发展。折反射全向成像系统无论聚焦内环区域、中环区域还是外环区域，都会造成其它区域的散焦模糊，如图3所示，图3（a）内环图像清晰，图（b）中环图像清晰，图（c） 外环图像清晰。目前，折反射散焦模糊问题的主要技术难点包括两个方面：（1）折反射成像系统曲面光学结构造成的图像散焦模糊，很难准确地辨识其模糊尺度；（2）由于折反射全向图像的成像方式不同于普通图像，只采用传统的图像复原反卷积算法，则很难达到更好的效果。 

为了解决问题，目前广泛采用且较为有效的方法是编码孔径技术[5]。如图4所示，该技术利用特殊设计的掩膜来改进成像装置，对还没有到达图像传感器的光束进行了针对性的编码加工，为图像采集后的处理过程提供更多有效的信息。经过编码孔径获得的图像，能够更准确地辨识出各个区域的模糊尺度，进而更准确地利用点扩散函数的尺度和反卷积算法进行图像复原。但编码孔径相机采集的单幅编码图像由于掩码遮挡损失了特定频率的信息，影响了图像去散焦模糊的效果[6]。 

发明内容

本发明为解决折反射全向成像存在的散焦模糊问题，提供一种基于主辅协同双光路设计的全向成像方法，将普通孔径和编码孔径的优势互补，利用编码孔径辅助辨识图像散焦模糊尺度，再通过对普通孔径采集的没有信息损失的图像做反卷积复原得到全聚焦全向图像，进一步提高成像效果。 

为实现上述技术效果，本发明采用的具体技术方案是： 

本发明还提供了一种基于主辅协同双光路设计的全向成像方法，包括如下步骤： 

步骤一、将同一场景的光线分成用于图像复原的主光路和用于编码孔径辨识模糊尺度的辅助光路，分别在普通孔径相机和编码孔径相机成像，其中主光路的光能大于辅助光路的光能； 

步骤二、构建折反射全向成像散焦模糊数学模型，选择编码孔径方案，辨识出折反射全向图像各个区域的散焦模糊尺度； 

步骤三、对散焦模糊图像进行复原得到全聚焦全向图像： 

1、首先将散焦模糊图像分成多个环状区域； 

2、提出基于全向全变分最小化的图像复原方法，对每一块环状区域的散焦模糊图像进行复原； 

3、对所有复原后的环状区域的清晰图像进行拼接，获得全聚焦全向图像； 

其中基于全向全变分最小化的图像复原方法为：将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。