[发明专利]结合目标检测和语义分割的图像配准方法

权利要求书

1.结合目标检测和语义分割的图像配准方法，其特征在于，所述图像处理方法，包括：

从传感器数据中获取待处理图像，借助实时目标检测算法截取待处理图像中的关键区域；

对关键区域中进行尺度不变特征变换，得到关键区域中的特征点；

基于语义信息对关键区域进行语义分割，实现将关键区域中的特征点进行归类，定义针对每一类语义信息项误差函数，结合视觉里程计原有框架中的误差函数得到总体误差函数；

对总体误差函数进行基于似然域模型的优化处理，当误差最小时完成图像配准；

所述基于语义信息对关键区域进行语义分割，实现将关键区域中的特征点进行归类，定义针对每一类语义信息项误差函数，结合视觉里程计原有框架中的误差函数得到总体误差函数，包括：

截取出的关键区域进行语义分割，将关键区域上的每个像素点将被归入一个类别；

根据关键区域中的像素点进行地图重建，将重建得到的地图点与已有类别语义关联；

定义语义项目误差函数的表达式

式中e_sem(k,i)表征了第i个地图点,在优化过程中的第k个位姿下，映射在相应语义图上的误差函数；

结合已有误差函数可以得到总体误差函数表达式

其中，E_sem代表语义项目误差函数，E_base代表所有点在对应位姿下的重投影误差之和，λ是权重系数。

2.根据权利要求1所述的结合目标检测和语义分割的图像配准方法，其特征在于，所述获取待处理图像，借助实时目标检测算法截取待处理图像中的关键区域，包括：

从待处理图像中提取两张相邻帧图像；

将两张相邻帧图像进行基于YOLO算法的目标检测；

以检测到的关键目标为中心，将区域边界的宽高尺寸分别扩大一倍，扩大后的边界限定的区域为关键区域。

3.根据权利要求1所述的结合目标检测和语义分割的图像配准方法，其特征在于，所述对总体误差函数进行基于似然域模型的优化处理，当误差最小时完成图像配准，包括：

构建似然域模型表达式，基于似然域模型表达式构建总体语义误差函数

式中，为地图点P_i属于语义类别c的概率，S_k为相邻帧图像中的语义分割结果，T_k为当前帧位姿，X_i为地图点坐标，Z_i则表征了地图点的具体语义类别，π(T_k,X_i)代表了投影过程，p为地图点投影到当前帧，得到的像素坐标结果，是度量函数，计算了投影点p到最近的语义c区域的距离，σ描述了不确定度；

对总体语义误差函数进行基于EM优化算法的优化求解。

4.根据权利要求3所述的结合目标检测和语义分割的图像配准方法，其特征在于，所述对总体语义误差函数进行基于EM优化算法的优化求解，包括：

对于所有观测到该地图点P_i的图像，有如下权重公式：

其中α为归一化系数，具体EM优化算法，按照如下步骤完成：

在E-Step中，保持P_i和T_k不变，通过权重公式计算

在M-Step中，保持不变，优化坐标点P_i和相机姿态T_k；

由于e_sem(k,i)的稀疏性，M步骤可以快速实现。