[发明专利]用于车辆中图像去模糊的系统和方法

说明书

公开了用于车辆中的图像去模糊的方法和系统。该方法和系统包括基于从车辆运动传感器和深度传感器接收的车辆运动数据和深度图来确定点扩散函数。基于点扩散函数计算去模糊矩阵。从成像设备接收的模糊的输入图像基于去模糊矩阵被去模糊，从而提供去模糊的输出图像。基于去模糊的输出图像来控制车辆的功能。

技术领域

本公开总体上涉及车辆中的非盲图像去模糊，更具体地，涉及用于从车辆的成像设备捕获的图像中去除运动引起的模糊的方法和系统。

背景技术

由摄像机捕获的图像可能由于多种原因而模糊。例如，摄像机在图像捕获期间可能一直在移动或晃动。图像模糊也可能是由光学像差引起的。色度模糊也很普遍，由此不同波长的折射程度不同。非盲去卷积(deconvolution)技术是已知的，通过该技术对模糊的输入图像进行处理，以便获得更清晰、去模糊的输出图像。根据这样的去卷积技术，利用模糊矩阵以将模糊的输入图像变换为去模糊的输出图像。可以从代表预期模糊效果的性质的点扩散函数确定模糊矩阵。在将摄像机安装到行驶车辆的情况下，基于车辆运动的知识来得出点扩散函数，并且基于点扩散函数来确定去模糊核。即，模糊源在成像中通常是众所周知的，并且可以使用直接测量或从模糊物理学的知识得出的点扩散函数(PSF)很好地对模糊过程进行建模。

运动引起的模糊是影响包括自动车辆系统在内的各种应用中的感知、定位和其他算法的性能的常见伪像。当成像设备相对于要捕获的真实场景运动时，尤其是在增加摄像机曝光时间时，会出现运动模糊。可以延长曝光时间，以改善所捕获图像的信噪比，例如在低光照条件下。

光流是由成像设备和场景之间的相对运动引起的视觉场景中的对象、表面和边缘的视在运动的模式。光流代表将包含在场景的捕获图像中的运动模糊。由于各种原因，运动引起的模糊已被证明很难通过适当的PSF来建模。在车辆环境中，虽然已知车辆运动，但由于该车辆运动而导致的运动模糊对于真实世界场景中的所有对象而言都不相同。

因此，期望提供可以在处理资源方面准确且有效地对运动引起的模糊进行去模糊的系统和方法。此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述和所附其他内容，本发明的其他期望特征和特性将变得显而易见。

发明内容

根据示例性实施例，提供了一种车辆中的图像去模糊的方法。该方法包括经由处理器从成像设备接收模糊的输入图像、从一个或多个车辆运动传感器接收车辆运动数据以及从深度传感器接收与模糊的输入图像相对应的深度图。处理器基于车辆运动数据和深度图确定点扩散函数，基于点扩散函数计算去模糊矩阵，并且基于去模糊矩阵和模糊的输入图像对模糊的输入图像进行去模糊，从而提供去模糊输出图像。基于去模糊的输出图像来控制车辆的功能。

在实施例中，该方法包括基于点扩散函数来计算模糊矩阵；以及基于模糊矩阵并使用去卷积函数来计算与去模糊矩阵相对应的正则化去模糊矩阵。在一个实施例中，去卷积函数是吉洪诺夫(Tikhonov)正则化的去卷积函数。

在实施例中，点扩散函数表示由于车辆运动导致的真实世界场景相对于成像设备的运动引起的模糊输入图像的每个像素在图像空间中的拖尾程度。模糊的输入图像的二维图像空间中的每个像素在真实世界场景中具有一个或多个相应位置。车辆运动由车辆运动数据定义。模糊的输入图像的每个像素在图像空间中的拖尾程度与真实世界空间中一个或多个相应位置的深度成反比。真实世界空间中的深度由深度图定义。

在一个实施例中，成像设备是车辆的侧视摄像机。在平移车辆运动的情况下，该方法包括以下处理器步骤：基于深度图和车辆运动数据估计光流线的量值；根据光流线的量值确定点扩散函数；基于点扩散函数计算模糊矩阵；基于模糊矩阵并使用去卷积函数计算正则化的去模糊矩阵；基于所述正则化去模糊矩阵和所述模糊输入图像对所述模糊输入图像进行去模糊处理，从而提供所述去模糊输出图像。