[发明专利]校准车辆的摄像头的方法、系统和存储介质

权利要求书

1.一种校准车辆的摄像头的方法，该方法包括以下步骤：

-在所述车辆运动时从所述摄像头获得视频流中的一个或更多个图像帧，其中，所述图像帧定义图像平面；

-在所述图像帧中选择两个或更多个图像点；

-跟踪所述图像帧中的所选择的各图像点的运动轨迹；

-基于所跟踪的运动轨迹获得多个流向量；

-确定所述图像平面中的所述流向量的一个或更多个延伸焦点，其中各延伸焦点由x坐标、y坐标定义；

-识别所述图像平面中的地平面掩模；

-识别所获得的流向量中的位于所述地平面掩模中的三个或更多个流向量；

-确定单应矩阵，所述单应矩阵被配置为关联所述流向量中的位于所述地平面掩模中的一个流向量的两个图像点的齐次坐标；

-使用所述单应矩阵获得一个或更多个平面法向量；

-通过以下操作生成包括第一列、第二列和第三列的摄像头校准矩阵：

ο基于所获得的延伸焦点确定所述摄像头校准矩阵的第一列；

ο基于所获得的平面法向量确定所述摄像头校准矩阵的第三列；

ο确定所述摄像头校准矩阵的与所述摄像头校准矩阵的所述第一列和所述第三列的叉积相对应的第二列；

-使用所获得的摄像头校准矩阵校准所述摄像头。

2.根据权利要求1所述的方法，其中，基于所跟踪的运动轨迹获得多个流向量的步骤包括：

-翻转所述流向量，从而获得与非镜像图像帧相对应的流向量。

3.根据权利要求1-2中任一项所述的方法，其中，获得流向量的步骤包括：

-过滤所述流向量。

4.根据权利要求3所述的方法，其中，基于以下标准中的至少一种来执行过滤所述流向量的步骤：

-配对所述流向量的成本；

-流向量长度；

-图像帧之间的角度；

-所述流向量相对于初始延伸焦点的角度。

5.根据权利要求1所述的方法，其中，确定一个或更多个延伸焦点的步骤包括：

-通过计算所述延伸焦点的平均值来过滤所述延伸焦点，从而获得平均延伸焦点vp。

6.根据权利要求5所述的方法，其中，基于所述延伸焦点确定所述摄像头校准矩阵的第一列的步骤包括：

-获得归一化的延伸焦点nvp，其中，所述归一化的延伸焦点如下式由所述摄像头的主点pp、所述摄像头的焦距f1和所述平均延伸焦点vp表示：

nvp＝(vp-pp)/fl

-将z坐标添加到所述归一化的延伸焦点nvp，从而获得3D延伸焦点VP_3D，其中，根据下式来表示所述3D延伸焦点VP_3D：

VP_3D＝(n_vp.x,n_vp.y,n_vp.z)

-获得归一化的3D延伸焦点Vp_3D_nοrm，其中如下式来确定所述归一化的3D延伸焦点：

-将所述归一化的3D延伸焦点Vp_3D_nοrm添加到所述摄像头校准矩阵的所述第一列。

7.根据权利要求1所述的方法，其中，识别地平面掩模的步骤包括：

-指示所述图像平面中的关注区域ROI。

8.根据权利要求1所述的方法，其中，被配置为关联位于所述地平面中的流向量的两个图像点的齐次坐标的所述单应矩阵如下式由单位矩阵I、所述摄像头的平移t、平面法向量n和所述图像平面到摄像头中心的距离d表示：

9.根据权利要求1所述的方法，其中，获得一个或更多个平面法向量的步骤包括：

-通过计算所述平面法向量的平均值来过滤所述平面法向量，从而获得平均平面法向量。

10.根据权利要求1所述的方法，所述方法还包括以下步骤：在获得一个或更多个图像帧之前：

-接收所述车辆的转向角；

-确认所述转向角是否在预定转向角范围内。