[发明专利]一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品

说明书

本发明涉及一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品，其利用当前帧与前第n帧的俯视图的特征点构建优化函数，并引入车身相对位姿信息进行非线性优化，得到当前帧与前第n帧之间的相对运动信息，然后根据相对运动信息得到变换矩阵，最后利用变换矩阵进行前第n帧与当前帧之间映射，进行当前帧俯视图的盲区填充。本发明引入非线性优化可以提高透明车身效果，且将图像结合车身运动信息，可以提高匹配的效率和可靠性，加快优化收敛，进一步提高车底透明化效果。

技术领域

本发明涉及车辆辅助驾驶技术领域，具体涉一种基于非线性优化的车底透明方法、装置、系统、存储介质及计算机程序产品。

背景技术

近年来，汽车在人们的日常工作和生活中起到越来越重要的作用。然而，汽车驾驶操作需要经过专门的技术培训才能掌握，且在复杂的道路环境上驾驶汽车需要驾驶员不仅有娴熟的驾驶技术还需要高度集中注意力才行，这不仅降低了汽车驾驶的安全性，也提高了汽车驾驶的门槛。

在汽车行业降低汽车驾驶的门槛，提高安全性和舒适度的过程中，车载电子系统逐步发展出高级辅助驾驶系统（Advanced Driver Assistance System ADAS），该系统引入了影像技术，尤其是目前的全景环视影像系统。由分布安装在车身四周的摄像头所组成的全景环视影像系统，能够将同一时刻采集到的车辆四周的视频影像进行分析和处理，得到车身四周360度3D立体影像或2D鸟瞰图，为驾驶员掌握周边环境提供了极大的便利。

然而，当前的360度全景环视影像系统仍存在无法感知车底盲区的不足。近年来越来越多的新闻报道，一些不熟练的驾驶员，在汽车泊出或泊入的时候，对于矮小的儿童被卷入车底后还浑然不觉，造成悲惨的交通事故。由此可见车底状况显示的重要性，在汽车行驶中应同步反馈车底状况，达到更高的驾驶安全要求。

发明内容

本发明的目的在于提供一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品，其通过对车底盲区进行填充，实现车底透明化处理。

为实现上述目的，本发明采用的技术方案是：

一种基于非线性优化的车底透明方法，其包括：

相对位姿信息获取步骤，首先获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；

俯视图获取步骤，获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图；

特征点提取步骤，从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；

变换矩阵计算步骤，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；

车底盲区填充步骤，利用变换矩阵H，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。

所述特征点提取步骤中，确定提取区域方法为：采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。

所述特征点提取步骤中，从提点区域中提取特征点操作如下：

在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。

所述变换矩阵计算步骤中，将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。