[发明专利]基于环视的自动泊车车位识别全景环视图像实时拼接方法

说明书

本发明公开基于环视的自动泊车车位识别全景环视图像实时拼接方法，包括如下步骤：1）通过鱼眼相机获取图像数据；2）对图像进行畸变矫正，得到畸变矫正后的鱼眼图像；3）将畸变校正后的图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；4）对得到的鸟瞰图进行拼接，得到汽车车身周围360度全景环视图像；5）采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；6）将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型，用于自动泊车车位识别和可行驶区域识别。本发明提供的方法具有计算量小，实时性高，精度高且效果好，易于实现的优点。

技术领域

本发明涉及汽车自动泊车技术领域，尤其涉及基于环视的自动泊车车位识别全景环视图像实时拼接方法。

背景技术

深度学习技术的飞跃发展，产生了更加智能的自动泊车系统。在自动泊车环境感知方面，目前的研究和产品大多利用超声波雷达进行感知，这种基于距离传感器的感知方案所获得的环境信息非常有限，将视觉传感器应用于自动泊车使得360度全景环视技术得到了飞快的发展。该系统利用安装与车身前、后、左、右的4路鱼眼摄像头实时获取车身周边的环境信息，实现了汽车车身周围环境零死角检测，提高了驾驶员对于盲区的监测能力，同时也可与图像处理技术相结合，实现车位识别、障碍物检测以及可行驶区域识别等功能，是自动泊车系统的重要组成部分。

在基于环视的自动泊车系统中，现有的360度全景环视图像主要用于为驾驶员提供车身周围全方位的视觉信息，用于辅助泊车。为实现采用深度学习语义分割的方法实现对停车位的检测和可行驶区域识别，需要通过图像拼接技术快速实时地生成汽车车身周围360度全景环视鸟瞰图。图像拼接是将两张或多张拥有相同区域的图像，采用算法找到相邻两张图之间的几何变换关系，再两两拼接成一张图的过程。常见的有基于区域的拼接方法和基于特征的拼接方法。基于区域的拼接方法具有较好的拼接效果，但是计算量大，拼接速度慢。基于特征的拼接方法虽然可以减少处理的特征点数量，但是在寻找特征点时增加了系统的工作量，也不能达到实时性的要求。在现有的拼接方法中，需要改进和完善图像处理算法，使可视范围更广、拼接效果更逼真。在硬件方向，选择经济实用的硬件平台，同时解决系统对实时性的需求。

在基于深度学习的自动泊车系统中，采用环视视觉识别停车位和可行驶区域具有高实时性的要求，需要实时的生成汽车车身周围360度全景环视鸟瞰图，以上方法都无法达到实时的要求，都不可以直接应用在基于深度学习的自动泊车系统中。

发明内容

本发明提供一种基于环视的自动泊车车位识别全景环视图像实时拼接方法，该方法可实时生成汽车车身周围360度全景环视鸟瞰图，用于基于语义分割的自动泊车车位检测和可行驶区域识别，具有拼接速度快，高实时性，且效果好的特点。

本发明至少通过如下技术方案之一实现。

基于环视的自动泊车车位识别全景环视图像实时拼接方法，包括如下步骤：

1)通过安装在汽车车身的四路鱼眼相机获取图像数据；

2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；

3)将畸变校正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；

4)对得到的四张鸟瞰图进行拼接，得到一张汽车车身周围360度全景环视图像；

5)采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；

6)将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型YOLOV3，用于基于深度学习的自动泊车车位识别和可行驶区域识别。