[发明专利]多目相机外参数优化方法、装置、电子设备及存储介质

权利要求书

1.一种多目相机外参数优化方法，其特征在于，所述方法包括：

将多目相机系统的图像帧输入至多目视觉slam系统，以使所述多目视觉slam系统基于预设的多目相机外参数对所述图像帧进行局部三维重建，所述图像帧包括所述多目相机系统中多个相机同一时间采集的多个单路图像，一个相机对应一个单路图像；

获取所述多目视觉slam系统输出的局部三维地图和所述多目相机系统的本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿，所述局部三维地图包括所述图像帧为当前关键帧时，其第一邻域范围内各关键帧所观测到的三维地图点，所述第一邻域范围是所述多目视觉slam系统所确定的；

针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像，以及，通过将该三维地图点重新投影至所确定的各单路图像中计算该三维地图点的重投影误差；

以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，所述局部三维地图的重投影误差为所述局部三维地图中所有三维地图点的重投影误差之和。

2.根据权利要求1所述的方法，其特征在于，所述以最小化所述局部三维地图的重投影误差为目标，根据所述本体坐标系在所述局部三维地图范围内各关键帧时刻的位姿对所述多目相机外参数进行优化，包括：

以最小化所述局部三维地图的重投影误差为目标，构建用于优化的损失函数：

其中，是三维地图点k在世界坐标系中的三维坐标，是在关键帧j对应的本体坐标系的位姿，是所述多目相机系统中相机i的外参数，是相机i的重投影函数，u^i，j，k是三维地图点k在关键帧j的相机i的单路图像中相匹配的关键点位置，e(i，j，k)的取值为0或1，三维地图点k在相机i的单路图像中具有相匹配的关键点时取1，三维地图点k在相机i的单路图像中不具有相匹配的关键点时取0，σ为鲁棒的核函数；

以为优化变量，使用非线性优化方法对所述损失函数进行最小化的迭代求解，得到优化后的多目相机外参数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将优化后的多目相机外参数输入至所述多目视觉slam系统，以使所述多目视觉slam系统能够基于优化后的多目相机外参数对新输入的图像帧进行局部三维重建。

4.根据权利要求1所述的方法，其特征在于，所述将多目相机系统的图像帧输入至多目视觉slam系统之前，所述方法还包括：

如果所述多目相机外参数包括所述多目相机系统中各相机间的相对位姿，确定所述多目相机系统的本体坐标系；

将所述多目相机外参数转换到所述本体坐标系下。

5.根据权利要求1所述的方法，其特征在于，所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像之前，所述方法还包括：

获取用于优化所述多目相机外参数的第二邻域范围；

根据所述第二邻域范围对所述第一邻域范围内的关键帧进行增减处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用于触发优化所述多目相机外参数的关键帧信息；

在所述关键帧信息符合预设的触发条件时，执行所述针对所述局部三维地图中的每个三维地图点，在所述第一邻域范围内各关键帧中确定能观测到该三维地图点的所有单路图像。