[发明专利]确定摄像头相对于环境的姿态的方法

说明书

技术领域

本发明一般地涉及使用计算机视觉用于运动估计，并且更具体地，涉及使用该运动估计用于车载摄像头的姿态确定以检测车辆附近的障碍物。

背景技术

从利用安装在车辆上的摄像头获取的车辆附近的环境（例如，道路或车库）的视频进行诸如车辆或机器人的对象的准确的运动估计在车辆和机器人导航中是重要的问题。大多数传统方法使用摄像头模型（单眼或立体）或者运动模型（平面或非平面）。为了从图像的序列确定车辆相对于环境的相对运动，诸如随机样本一致性（RANSAC）的假想-测试框架中的最少数目的特征对应关系在存在异常值时产生准确的结果。

使用车载摄像头根据视频序列进行稠密深度估计当车辆特别是在诸如车库、码头、马路、停车场和一般道路等等的受约束环境中后退时对于诸如检测移动中的车辆附近的人和障碍物的安全应用来说是特别有用的。

极小解

Nistér的已知的利用RANSAC框架的五点法是针对存在异常值时的运动估计的优选方法。在两个摄像头之间的相对运动的情况下，在运动参数中存在六个自由度（DOF）：三个DOF用于旋转并且三个DOF用于平移。对于具有单个投影中心的传统摄像头来说，仅能够确定五个参数，即，平移仅能够确定到一定标度。因此，需要五个特征对应关系中的极小值来确定运动参数。

例如，能够使用哈里斯角点、Kanade-Lucas-Tomasi跟踪器（KLT）和尺度不变特征变换（SIFT）来获得特征对应关系。通常，极小方法导致对于运动的有限数目的解，并且基于物理约束或额外的点对应关系来选择正确的运动。

极小解已知用于若干校准和3D重构问题：径向畸变的自动校准、立体三点问题、五点相对姿态问题、六点焦距问题、六点广义摄像头问题、用于估计抛物反射折射基础矩阵的九点问题、九点径向畸变问题、利用六个对应关系的点面配准、用于利用点或线的立体设置的姿态估计以及用于利用点和线的单眼设置的姿态估计。

受限运动模型

通常由相关应用来约束摄像头的相对运动。例如，安装在车辆上的摄像头并不是通常都具有6DOF。如果行进面是平面，则摄像头仅能够具有三个DOF（两个平移DOF和一个旋转DOF）。

Scaramuzza等人已经示出了对于特定类别的车辆、自行车和机器人，能够仅利用一个参数来对运动进行参数化。因此，能够使用1点方法。潜在的想法是存在旋转瞬时中心（ICR），并且车辆遵从围绕该ICR的圆形路径。

当可以使用惯性测量单元（IMU）时，能够利用重力矢量获得两个测量角度。剩余的未知量是能够利用四次方程由三点运动估计方法求解的三个参数（1个旋转DOF和2个平移DOF）。该运动估计方法对于诸如蜂窝电话的手持数字装置中的摄像头来说能够是有用的。

另一方法对于平面运动序列使用2点运动估计方法。这可用于安装在机器人上的摄像头在平面上移动时的室内机器人自我运动估计。自由度的数目为三（1个旋转DOF和2个平移DOF）。然而，相对运动仅能够恢复到某一标度。在RANSAC框架中，所要求的迭代数目通常在确定运动所要求的点数减小时较小。考虑到方程的复杂度，该方法利用牛顿-拉夫逊算法迭代地确定解，这消耗时间并且不能用于实时应用。

同时定位和图创建（SLAM）

SLAM使用运动模型来平滑摄像头的轨迹并且约束用于3D环境重构的特征对应关系的搜索区域。SLAM是用于利用视觉特征观察来融合惯性测量的方法。当前摄像头姿态以及视觉地标的3D位置被结合地进行估计。基于SLAM的方法负责摄像头的姿态与观察特征的3D位置之间的相关性。然而，基于SLAM的方法由于适当地处理相关性的计算很复杂而具有高计算复杂度，并且因此，在具有成千上万的特征的环境中执行基于视觉的SLAM对于实时应用来说是有问题的。

发明内容

很多可移动对象（例如，车辆、自行车、机器人和人）能够配备有摄像头。本发明的实施方式提供了一种从通过安装在对象上的单个摄像头获取的对象附近的环境的图像序列估计对象的相对运动。运动估计能够然后用于检测环境中可能干扰安全操作和车辆的移动的障碍物。由于摄像头被固定到对象，因此，能够从摄像头的姿态确定对象的运动。

如这里一般性地定义的。姿态包括3D位置和3D取向。每个姿态的平移位置和角取向能够具有最多三个自由度（DOF）。

对于机器人学和计算机视觉来说，不完全约束和平面性下的运动估计方法的性能是已知的。现有技术的方法通常使用最少数目的关于运动模型的点对应关系。已知的是，这样的极小方法当在诸如RANSAC的假想-测试框架中使用时是高效的并且容纳异常值。