[发明专利]一种基于水滴态感知视场融合的单车环视图像实时拼接方法

说明书

本发明提出一种水滴态感知视场融合的单车环视图像实时动态拼接方法，该方法使用汽车环视视觉系统提供的全景图像信息，能够感知大范围环境信息，为卡车等可转动的非刚体特种车辆提供汽车实时环视动态拼接图像，并可为车辆提供同一尺度下的水滴态三维感知视场融合图像，实现无盲区、大范围的实时环境显示；通过基于Superpoint架构的特征点提取算法与基于SuperGlue架构的特征匹配算法可以有效改进特征匹配结果，剔除无法用于位姿估计的匹配点对，提升相机之间相对位置参数的精度和可靠性；通过在统一框架下将视频防抖与拼接相结合，可以获得稳定的动态全景拼接图像；结合构建的水滴模型与相关投影矩阵，可为车辆提供实时3D全景环视图像。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于水滴态感知视场融合的单车环视图像实时拼接方法。

背景技术

随着技术的不断发展和人们对工作、生活需求的提高，汽车已经走进了千家万户，成为人们生活中的必备品。驾驶员们希望汽车感知影像系统更加全面、广阔、无死角地展现汽车周围的环境信息，从而辅助驾驶员实现更加精准安全的车辆控制。现在，最新一代的汽车环视技术已经能实现汽车周围环境的3DAVM显示，较为传统的倒车影像技术也能为驾驶员提高一定的帮助。然而这些技术都是针对小轿车等乘用车型提出的，虽然能较好地满足小轿车司机的感知需求，但当面临大型商用车车距大、车座高、车头车尾不固连等特点时，传统环视技术难以弥补大型车辆的周身盲区，给驾驶员的操作行为带来诸多不便。因此，针对大型车辆的汽车环视感知技术渐渐凸显其研究的迫切需求，尤其是解决其车头车身不固连的感知难题与大型车辆之间相互遮挡的感知难题。

汽车环视技术在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员操作车辆。不仅非常直观，而且不存在任何盲点，可以协助驾驶员从容操控车辆泊车入位或通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。目前的汽车环视技术假设相机与汽车固连，将整个车辆作为刚体进行处理。整体的技术路线采用静态拼接方法，首先对固连的多路相机分别进行相机校正，获取每路相机去畸变的图像；其次分别计算每一路相机图像到投影平面的变换参数，并制作查表；然后将各路图像通过查表都投影在同一个投影平面上，并进行图像融合处理，形成统一的投影平面图像；最后通过虚拟视点等方法将投影平面转换到虚拟成像面上进行显示。目前，静态拼接方法由于相机架设简单、参数计算容易，成像实时性高等优点受到业内人士的追捧。然而在面临抖动、转动等参数变化情况时，静态拼接方法中的查表参数并不能随之变化，这使得目前汽车环视技术无法适应于卡车、挂车等会发生车体转动的大型非刚体特种车辆。

针对上述问题，研究者们对图像拼接的上游工作——特征点生成与匹配这一领域展开了大量研究。截止2020年，目前最新的特征生成与匹配方法已能达到15FPS，初步满足图像预处理的实时性要求。卡车、挂车等会发生车体转动的汽车环视图像的动态拼接已经成为可能。

因此，水滴态感知视场融合的单车环视图像实时动态拼接方法为可转动的非刚体车辆提供汽车实时环视动态拼接图像，同时为车辆提供同一尺度下的三维感知视场融合模型，对特种车辆的感知显示具有重要意义，有极高的实用价值。

发明内容

有鉴于此，本发明提供一种水滴态感知视场融合的单车环视图像实时动态拼接方法，根据特征点生成与匹配方法在汽车环视视觉系统设计、特征生成、特征匹配、图像拼接与去抖、参数表更新、投影平面融合等方面对汽车环视系统进行改进，使汽车环视系统参数表具备更新能力，环视能力覆盖卡车、挂车等会发生车体转动的大型非刚体特种车辆，为车辆提供同一尺度下的三维感知视场融合模型，使汽车环视技术能兼顾精度和效率，实现无盲区的实时动态图像拼接。

一种基于水滴态感知视场融合的单车环视图像实时动态拼接方法，包括以下步骤：

步骤S1、设置车辆环视视觉系统，并对车辆环视视觉系统参数进行标定；