[发明专利]图像模糊校正装置和控制方法

说明书

本发明提供一种图像模糊校正装置和控制方法。该图像模糊校正装置追踪拍摄图像中的特征点，计算特征点追踪信息，并基于特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的摄像设备的位置姿势信息，来估计包括被摄体和摄像设备之间的深度的位置关系作为特征点的三维坐标。该图像模糊校正装置还控制特征点对三维坐标的估计的贡献度。该图像模糊校正装置还根据特征点的三维坐标的估计结果来校正位置姿势信息，基于抖动信息和位置姿势信息来计算抖动校正透镜的目标位置，并驱动抖动校正透镜。

技术领域

本发明涉及一种图像模糊校正装置和控制方法。

背景技术

在诸如数字照相机等的摄像设备拍摄被摄体的图像的情况下，由于把持照相机的主体的用户的“照相机抖动”等，因而可能在被摄体的图像中发生抖动(图像模糊)。已经提出了一种具有用于校正这种图像模糊的图像模糊校正器的摄像设备。图像模糊校正处理包括光学图像模糊校正处理和电子图像模糊校正处理。在光学图像模糊校正处理中，使用角速度传感器等来检测施加到照相机的主体的抖动，并且根据检测结果来移动设置在摄像光学系统中的校正透镜。通过改变摄像光学系统的光轴的方向并移动在摄像元件的光接收面上形成的图像来校正图像模糊。在电子图像模糊校正处理中，通过拍摄图像的图像处理以伪方式校正图像模糊。

为了校正由照相机抖动引起的图像模糊，需要检测摄像设备的位置和姿势的变化。应用已知的SFM以及视觉和惯性传感器融合技术来估计存在于真实空间中的物体的三维坐标和摄像设备的位置姿势的技术已知为用于检测摄像设备的位置姿势的自身位置估计方法。SFM代表“运动结构(structure from motion)”。视觉和惯性传感器融合技术是与使用惯性传感器的位置姿势估计有关的技术。日本特开2016-119572公开了一种使用追踪特征点的移动的结果来校正图像模糊的技术。

然而，在图像之间的视差量小的情况下，使用SFM对物体的三维坐标估计可能失败。日本特开2016-119572中公开的技术通过以使得图像之间的视差量增大的方式选择要追踪的图像来避免视差量的减小。然而，在图像之间的视差量小的情况下，不能进行反映小视差量的处理。这导致出现不进行处理的时间段和出现对图像模糊校正不进行控制的时间段。特别地，如果由于微细的照相机抖动而长时间发生图像模糊，则不能利用日本特开2016-119572中公开的技术来校正图像模糊。

发明内容

本发明提供了可以使用特征点的三维坐标来高精度地进行图像模糊校正的图像模糊校正装置。

根据本发明的实施例的一种图像模糊校正装置，包括：特征点追踪器，其被配置为追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；三维坐标估计器，其被配置为基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；控制器，其被配置为控制所述特征点对所述三维坐标的估计的贡献度；校正器，其被配置为根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；目标位置计算器，其被配置为基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及驱动器，其被配置为根据所述目标位置来驱动所述抖动校正器。

根据本发明的实施例的一种图像模糊校正装置的控制方法，所述控制方法包括：追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；控制所述特征点对所述三维坐标的估计的贡献度；根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及根据所述目标位置来驱动所述抖动校正器。

根据本发明的图像模糊校正装置，可以使用特征点的三维坐标来高精度地进行图像模糊校正。