[发明专利]飞行时间三维传感器的运动模糊消除方法和设备

说明书

技术领域

本发明涉及三维传感器和数字图像处理技术领域，具体涉及飞行时间(time-of-flight,ToF)三维传感器的运动模糊消除方法和设备。

背景技术

三维深度传感器可以用来感知环境的三维深度信息，因此被广泛应用于人机交互、移动机器人导航、体感游戏、虚拟/增强现实等领域。相比于传统的双目立体相机，深度相机不需要大量的运算来恢复深度，而且得到的图像更为准确、可靠。

深度传感器常见的工作方式有两种，一种是结构光(structured-light)方法；另一种是飞行时间(time-of-flight,ToF)方法。图1示意了一种基于光学快门(optical shutter)的飞行时间深度传感器的工作原理。需要说明的是，本发明有时以该ToF传感器为例对本发明提出的运动模糊消除方法和设备进行说明，但是，本发明方法和设备适用于多种形式的、可能产生运动模糊的ToF传感器，不局限于该传感器。

参见图1，飞行时间法三维成像是通过红外光源向目标物体连续发射光波(如图1中照明红外光的正弦波形所示)，然后用感光器件接收从目标物体返回的光(如图1中反射红外光的正弦波形所示)，通过探测光脉冲的往返飞行时间来得到目标物体的距离。飞行时间传感器与普通相机的组成部件有类似之处，都是由光源、光学部件、成像单元、控制电路以及计算单元等几部单元组成。

ToF技术采用主动光探测方式。照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量。ToF的照射单元通常是人眼不可见的红外光，比如图1所示的采用激光二极管(Laser diode，LD)发射的红外光，脉冲频率为20MHz。反射的红外光经过与谐振器零拍混频后，被成像单元CMOS图像传感器接收。在一个成像周期内，成像单元接收到4幅不同相位的图像，随后ToF运算单元针对每一个像素对入射光往返相机与目标物体之间的相位分别进行计算，并计算出深度图像。

深度传感器相比于传统传感器在深度测量方面有很多优势，同时也面临一些挑战。对于ToF三维传感器，一个很大的挑战就是运动模糊。从图1中可以看出，为了得到 一幅深度图像，需要4幅红外图像I₀、I₉₀、I₁₈₀、I₂₇₀，下标分别对应4个不同的相位。由于4幅红外图像是在不同的时刻成像，当场景中存在运动物体的时候，物体在不同图像中的位置不相同，就会产生运动模糊的问题。因此，运动模糊消除(motion deblurring)就成了ToF三维传感器的一个重要课题。

ToF三维传感器的运动模糊消除问题的解决方案，包含以下两个步骤：

(1)运动模糊区域的检测。如果场景是静止的，理想情况下一个成像周期的4幅红外图像满足一定的约束，通常满足(I₀+I₁₈₀)-(I₉₀+I₂₇₀)＝0。如果像素点严重不满足该约束，例如：

|(I₀+I₁₈₀)-(I₉₀+I₂₇₀)|>ε

其中，ε是一个阈值，就把这些像素判定为运动模糊的像素。

(2)运动模糊的消除。主要有以下解决思路：

(i)采用孔洞填充(hole-filling)的方法。首先，将运动模糊区域的深度值设为无效，从而运动模糊区域形成了一些孔洞；然后，从孔洞的相邻区域中，采用图像补全技术、或者选择孔洞相邻像素的深度值来填充这些孔洞。空洞填充方法丢弃了运动模糊区域的测量值，根据图像的统计特性加以填充。当前最先进的孔洞补全算法面临着运算量大、难以实时计算的问题。

(ii)将一个成像周期内的多幅红外图像对齐，根据对齐之后的图像再来计算深度。跟空洞填充方法相比，这种方法没有丢弃运动模糊区域的测量值，能够更加充分地利用图像的信息。本专利采用这种思路。

消除运动模糊在图像处理和计算机视觉领域是一个经典的问题，对于普通的彩色或者灰度图像，存在一些消除运动模糊的算法。

按照模糊核的性质，运动模糊消除算法可划分为：盲去卷积(Blind image deconvolution，BID)和非盲去卷积(Non-blind image deconvolution，NBID)。BID是在模糊核未知的情况下恢复出原始的清晰图像。在这种情况下，除了采集到的图像，没有其他任何信息可供使用。NBID是在模糊核已知的情况下恢复出清晰的原始图像。