[发明专利]运动特征点检测方法及装置

说明书

技术领域

本发明涉及适用于大角度相机的运动特征点检测方法及装置。

背景技术

对相机拍摄的运动目标进行检测的技术(以下称为运动目标检测技术)一直是计算机视觉领域的研究热点，广泛应用于视觉捕捉监控等诸多领域。其中，一般通过判断运动目标上的特征点是否为运动特征点，来进行运动目标检测。

在运动目标检测技术中，根据对运动目标进行拍摄的相机是否运动，运动目标检测可以分为静止相机下的运动目标检测和移动相机下的运动目标检测。以下，分别对这两种运动目标检测进行详细说明。

静止相机下的运动目标检测常用于交通监控、安防系统。具体而言，例如用于交通路口、机场、商店、停车场、商业大楼等公共场所的监控。静止相机下的运动目标检测相对容易实现，常用的实现方法有帧间差分法(inter-frame difference)、背景建模方法(background modeling)和光流方法(optical flow)等。

另一方面，移动相机下的运动目标检测可用于汽车辅助驾驶、机器人视觉等。随着人工智能、汽车自动化等技术的迅速发展，移动相机下的运动目标检测正在得到日益广泛的应用，有巨大的发展前景。但是，由于对运动目标进行拍摄的相机本身也在移动，而相机本身的移动会造成背景的运动，因此移动相机下的运动目标检测成为运动目标检测技术中的一个难点。具体而言，移动相机下的运动目标检测的关键在于，在运动相机所拍摄的图像中，如何区分物体的运动是由相机的移动造成的、还是由物体本身运动和相机运动共同造成的。对此，常用的方法有极线约束(epipolarconstraint)方法、光流(optical flow)方法和三维重建(3D reconstrction)方法。以下，分别对这几种方法进行详细说明。

首先，说明上述极线约束方法的原理。在运动相机所拍摄的图像的某一帧中，如果一个点在真实世界中是静止的，那么在下一帧图像中，该点出现的位置必然在该点所对应的极线(epipolar)上。反之，如果在下一帧图像中，该点出现的位置偏离极线，则可以判断出该点在真实世界中是运动的。由此，可以检测出图像中的特征点在真实世界中是否运动，并检测出具有这些特征点的目标在真实世界中是否运动。

接着，说明上述光流方法的原理。在光流方法中，对运动相机所拍摄的图像，计算该图像中每一个像素点的速度，由此得到该图像的光流场(optical flow field)。如果该图像中没有在真实世界中运动的目标时，该光流场连续。反之，若该图像中存在真实世界中的运动目标，则该运动目标所形成的光流与相邻的背景的光流有很大不同。由此，能够在运动相机所拍摄的图像中检测出在真实世界中运动的目标。

最后，说明上述三维重建方法的原理。在三维重建方法中，对运动相机所拍摄的图像，根据同一个点在多个图像中的位置关系，来恢复该点的三维坐标。如果不能够准确恢复该点的三维坐标，则判断该点是真实世界中的运动目标上的点。由此，可以检测出图像中的特征点在真实世界中是否运动，并检测出具有这些特征点的目标在真实世界中是否运动。

但是，以上三种移动相机下的运动目标检测都存在自身的问题。例如，上述极线约束方法由于要判断图像中的点与极线之间的位置关系，因此仅适用于普通相机的针孔显像模型，如果不符合针孔显像模型则无法使用。另外，光流方法由于要计算图像中每一个像素点的速度，因此计算量大，而且容易受到噪声的干扰。最后，三维重建方法由于要根据同一个点在多个图像中的位置关系来恢复该点的三维坐标，因此优选用于双目相机或三目相机，在单目移动相机的情况下，虽然可以使用相邻帧的图像来模拟双目相机，但显而易见，其精度受到很大影响，难以满足实际使用的要求。

特别是，近年来鱼眼相机、全景相机等大视角相机越来越受到人们的重视。其中，鱼眼相机的成像视角一般可达到180度左右，最大甚至能够达到220度，而全景相机的成像视角可以达到360度。这些大视角相机突破了传统平面相机成像视角小的缺点，在车载系统等中有广阔的应用前景。在大视角相机的这些具体应用中，例如在车载系统中，也需要移动相机下的运动目标检测技术。