[发明专利]全景环视图生成方法、车载设备及车载系统

说明书

本发明涉及一种全景环视图生成方法、车载设备和车载系统。该方法包括：获取车辆周围区域的图像、方向盘转角信息和车速信息；变换拼接生成与时间相关联的环视图，使用ORB算法提取特征点；利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配；计算仿射变换矩阵并进行仿射变换，与当前时刻环视图进行加权融合并保存；重复上述步骤，获得连续更新的全景环视图。该方法、设备和系统能够消除车底盲区，实现全景透视，并且计算快速，准确度高。

技术领域

本发明涉及机器视觉领域，特别是涉及全景环视图生成方法、车载设备及车载系统。

背景技术

随着图像和计算机视觉技术的快速发展，目前越来越多的车辆上开始搭载全景环视系统。现有的全景环视系统一般包括成像装置和图像处理装置。成像装置包括能够覆盖车辆周边所有视场范围的多个摄像头，例如，分别安装在车辆的车头、车尾、左右后视镜等处的具有宽广视野的鱼眼摄像头。这些摄像头对车辆的周围环境进行成像，并将获取的图像传送至图像处理装置。图像处理装置将接收到的图像与时间相关联，对来自多个摄像头的同一时刻的图像进行处理，例如，图像变换和图像拼接，以获得全景环视图，即车辆周边360度的车身俯视图。

但是这样的全景环视系统无法捕捉到车底区域的图像，导致在全景环视图中无法显示车底区域，形成车底区域的显示盲区，影响驾乘人员对车底区域路况的分析以及车辆行驶过程中的位置判断。

发明内容

基于此，有必要针对在现有技术生成的全景环视图中无法显示车底区域的问题，提供能够实现车辆透视从而显示车底区域的全景环视图生成方法、车载设备及车载系统。

一种全景环视图生成方法，包括以下步骤：

从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；

将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；

将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；

利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；

重复上述步骤，获得连续更新的全景环视图。

上述全景环视图生成方法，使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点，然后利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图的特征点中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高特征点匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除环视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。

在其中一个实施例中，在所述配准计算中，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。