[发明专利]相机自运动参数估计模型的训练方法、装置及存储介质

说明书

本发明实施例提出一种相机自运动参数估计模型的训练方法、装置及计算机可读存储介质。其中相机自运动参数估计模型的训练方法包括：将前后两帧图像输入到相机自运动参数估计模型，相机自运动参数估计模型为神经网络模型；根据前后两帧图像的信息，利用相机自运动参数估计模型预测相机自运动参数；利用预测的相机自运动参数和在前后两帧图像上标注的车道线的信息计算相机自运动参数估计模型的损失函数；利用损失函数训练相机自运动参数估计模型。本发明实施例通过使用神经网络模型减小了计算量，使计算速度更快；考虑到图像的全局信息，避免局部信息错误匹配造成的输出错误；训练数据可覆盖各种场景，可准确预测相机自运动参数，鲁棒性较好。

技术领域

本发明涉及信息技术领域，尤其涉及一种相机自运动参数估计模型的训练方法、装置及计算机可读存储介质。

背景技术

相机自运动参数是自动驾驶技术领域中非常重要的一组参数，其主要作用体现在以下几个方面：

1.校正车辆外部参数。

通常情况下，车辆和相机是相对静止的。在这种情况下，车辆外部参数就是相机的外参。相机的外参包括旋转矩阵和平移矩阵。在进行环境感知的过程中，图像中感知到的物体需要经过车辆外部参数变换才能得到真实的距离。车辆的外部参数需要经过专门标定，标定的时候车辆是静态的，车辆行驶过程中是动态的，因此车辆和摄像头的自运动会导致车辆外部参数不准，需要对车辆外部参数进行校正。

2.预测和补全车道线。

在车道线检测过程中，经常出现车道线模糊的现象。这种情况下车道的划分还是存在的，但是车道线检测算法不能很好地检测到车道线。针对这种情况可以通过历史帧的车道线检测结果，进行车辆位姿变换来预测当前帧的车道线位置。而进行车辆位姿变换需要使用相机自运动参数。以上方法也可以对车道线检测结果进行多重校验，保证结果的稳定性。

现有的相机自运动参数估计采用的是关键点检测与匹配的方法。其中，特征提取算法包括：SURF(Speeded Up Robust Features，加速稳健特征)算法、FAST(Features fromaccelerated segment test，加速段测试的特征)算法、SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法、ORB(Oriented FAST and Rotated BRIEF)算法、Harris(哈里斯)角点检测算法。特征匹配算法包括：利用特征提取算法获得关键点的特征，即一系列的特征向量；然后通过计算特征向量的距离来进行特征点匹配。

现有的相机自运动估计方法存在以下缺陷：

1.现有方法计算速度比较慢。关键点检测通常使用HOG(Histogram of OrientedGradient，方向梯度直方图)、HARRIS、SIFT等算法。这类方法对图像中每个像素周围的一片区域进行运算，得到特征向量。在选取特征向量之后还要对不同帧之间的特征点进行匹配，需要花费大量的计算资源。

2.现有方法不准确。关键点检测算法通常使用的是局部特征点算法，并没有考虑到图像的全局信息，容易造成错误的匹配。比如，道路上的车道线是连续重复的线段，图像的边缘或角点特征是相似的，因此在匹配的时候可能匹配到另一段车道线，这种情况下计算出来的相机运动参数是错误的。

3.现有方法鲁棒性较差。现有方法基于特征点检测，然而在某些情况下图像上没有明显的角点或边缘等特征点。比如一些空旷的路段场景比较单一。另外，在遭遇强光的时候，现有方法也不能检测到关键点。比如：示例场景一、对向来车的远光灯让图像过曝；示例场景二、迎着太阳开车的时候路面有大量的反光。在以上示例场景中，使用现有方法不能检测到关键点。

发明内容

本发明实施例提供一种相机自运动参数估计模型的训练方法、装置及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。