[发明专利]相机位姿优化方法、装置、电子设备和计算机可读介质

说明书

本发明提供了一种相机位姿优化方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取目标摄像机拍摄的待处理关键帧；对待处理关键帧进行语义分割，得到语义分割结果，语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在全局地图中为待处理关键帧中的目标对象建立语义路标标记，并对各个语义路标标记进行更新，以更新各个语义路标标记所属的地图点；利用更新之后的语义路标标记优化目标摄像机的位姿信息，本发明缓解了现有的视觉同步定位与地图构建系统在进行相机位姿的优化时，优化效果较差的技术问题。

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种相机位姿优化方法、装置、电子设备和计算机可读介质。

背景技术

在目前的视觉同步定位与地图构建系统中，研究员通常采用视觉里程计，利用前后图像帧之间的匹配估计相机运动，并利用重投影误差来优化相机位姿。在这一过程中，算法的准确率受到了多方面的制约。

例如，由于前后图像帧之间的匹配完全依赖于特征点的对应，假如特征点在图像的不同区域产生了大的响应值，此时，很难将不同帧进行配准。另外，在实际处理中，室外环境的光照变化范围通常较大，这将会大大影响图像特征的提取与图片的匹配，昏暗灯光(例如，夜晚、雪景)等情况甚至导致特征点数量的急剧减少，无法提供鲁棒的优化措施。再者，由于相机运动由前后图像帧相对位置确定，每一帧位姿估计都依赖于前一图像帧的位置，因此，假如在某个位置的运动估计产生误差，该错误信息将在系统中一直传递，并不断累计，最终可能导致轨迹的漂移。

发明内容

有鉴于此，本发明的目的在于提供一种相机位姿优化方法、装置、电子设备和计算机可读介质，以缓解了现有的视觉同步定位与地图构建系统在进行相机位姿的优化时，优化效果较差的技术问题。

第一方面，本发明实施例提供了一种相机位姿优化方法，包括：获取目标摄像机拍摄的待处理关键帧；对所述待处理关键帧进行语义分割，得到语义分割结果，所述语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记，并对各个所述语义路标标记进行更新，以更新各个所述语义路标标记所属的地图点；利用更新之后的语义路标标记优化所述目标摄像机的位姿信息。

进一步地，对所述待处理关键帧进行语义分割，得到语义分割结果包括：通过语义分割模型对所述待处理关键帧进行语义分割，得到至少一个分割区域，并将所述至少一个分割区域作为所述语义分割结果，其中，每个分割区域对应所述待处理关键帧中的一个目标对象。

进一步地，对各个所述语义路标标记进行更新包括：更新所述全局地图中地图点的属性信息，得到更新之后的地图点，其中，更新属性信息包括：地图点所属分割区域的类别信息和类别置信度，以及地图点所对应的语义路标标记的标识信息；利用所述更新之后的地图点对各个语义路标标记进行更新。

进一步地，所述待处理关键帧中包括多个特征点；更新所述全局地图中地图点的属性信息包括：在所述待处理关键帧中确定与所述地图点相对应的特征点，得到目标特征点；利用所述目标特征点的类别信息更新所述全局地图中目标地图点的类别信息，其中，所述目标地图点为所述全局地图中与所述目标特征点相对应的地图点，所述目标特征点的类别信息包括：目标特征点所属分割区域的类别信息和类别置信度。

进一步地，利用所述更新之后的地图点对各个语义路标标记进行更新包括：若所述更新之后的地图点位于分割区域内，且所述更新之后的地图点所属于所述待处理关键帧中目标语义路标标记，则将所述更新之后的地图点融合至所述目标语义路标标记；其中，所述更新之后的地图点与所述目标语义路标标记在三维空间中维护的三维中心点的距离小于预设距离，所述三维中心点与所述更新之后的地图点位于所述待处理关键帧的同一分割区域内，且所述更新之后的地图点的类别信息与所述目标语义路标标记的类别信息相同。