[发明专利]一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品

权利要求书

1.一种基于非线性优化的车底透明方法，其特征在于：所述方法包括：

相对位姿信息获取步骤，首先获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；

俯视图获取步骤，获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图；

特征点提取步骤，从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；

变换矩阵计算步骤，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；

车底盲区填充步骤，利用变换矩阵H，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。

2.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述特征点提取步骤中，确定提取区域方法为：采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。

3.根据权利要求1或2所述的一种基于非线性优化的车底透明方法，其特征在于：所述特征点提取步骤中，从提点区域中提取特征点操作如下：

在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。

4.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述变换矩阵计算步骤中，将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。

5.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息为前第n帧到当前帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。

6.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。

7.一种基于非线性优化的车底透明装置，其特征在于：所述装置包括：

相对位姿信息获取模块，用于获取车身位姿信息，并利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；

俯视图获取模块，用于获取当前帧包含车底盲区的俯视图以及前第n帧已经处理过的俯视图；

特征点提取模块，用于从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图，还用于从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；

变换矩阵计算模块，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；

车底盲区填充模块，用于根据变换矩阵H将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。

8.根据权利要求7所述的一种基于非线性优化的车底透明装置，其特征在于：所述特征点提取模块采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。