[发明专利]场景检索方法、装置、电子设备及存储介质

权利要求书

1.一种场景检索方法，其特征在于，包括：

获取至少两幅观测图像及其观测视角；

获取每幅所述观测图像的深度信息；

根据所述观测图像的相机参数、所述观测图像的观测视角及所述观测图像的深度信息，构建每幅所述观测图像的视角锥；

确定所述至少两幅观测图像中观测图像的视角锥的3D交并比，所述3D交并比表示观测图像间的场景观测相似度。

2.根据权利要求1所述的场景检索方法，其特征在于，所述观测图像的深度信息包括：所述观测图像的平均深度、最大深度和所述观测图像中深度值小于预定深度阈值的特征点比例。

3.根据权利要求1所述的场景检索方法，其特征在于，获取每幅所述观测图像的深度信息，包括：

提取观测图像的关键点；

对所述观测图像的关键点执行均匀化处理；

对所述观测图像进行深度估计以获得所述观测图像的深度图，将所述均匀化处理后的关键点映射到所述深度图上，以确定各关键点的深度值；

根据各关键点的深度值确定所述观测图像的平均深度、最大深度和所述观测图像中深度值小于预定深度阈值的特征点比例。

4.根据权利要求1或2所述的场景检索方法，其特征在于，所述构建每幅所述观测图像的视角锥，包括：

所述观测图像中深度值小于预定深度阈值的特征点比例大于预定比例阈值时，基于所述观测图像的平均深度确定视角锥的观测深度；

所述观测图像中深度值小于预定深度阈值的特征点比例小于或等于所述预定比例阈值时，基于所述观测图像的最大深度确定视角锥的观测深度。

5.根据权利要求4所述的场景检索方法，其特征在于，所述构建每幅所述观测图像的视角锥，还包括：

根据所述观测图像对应的相机内参确定所述视角锥的视野角度值；

根据所述观测图像对应的相机位置确定所述视角锥的顶点坐标和视角方向。

6.根据权利要求1或5所述的场景检索方法，其特征在于，所述估算所述至少两幅观测图像中观测图像的视角锥3D交并比，包括：

对两幅观测图像的视角锥分别提取轴对齐包围盒最小外包围框；

对两幅观测图像的视角锥的轴对齐包围盒最小外包围框进行碰撞检测，以判断两幅观测图像的视角锥的轴对齐包围盒最小外包围框是否存在交叠；

在两幅观测图像的视角锥的轴对齐包围盒最小外包围框存在交叠时，合并两个视角锥的轴对齐包围盒最小外包围框，基于视角锥的空间分布函数和蒙特卡洛算法对得到的合并外包围框计算3D交并比；

其中，所述两幅观测图像由两个相机拍摄；

优选地，所述基于视角锥的空间分布函数为符号距离函数SDF，SDF根据所述视角锥的参数构建，所述视角锥的参数包括：视角锥的顶点坐标、视角锥的视角方向、视角锥的观测深度、视角锥的视野角度值；

优选地，所述3D交并比指示所述两个相机的相交观测区域在所述两个相机的相并观测区域中的占比；

优选地，还包括：根据所述至少两幅观测图像中观测图像的视角锥的3D交并比，获得基于图像的回环检测、图像场景检索或视频场景检索的结果；

优选地，还包括：根据所述至少两幅观测图像中各观测图像的视角锥的3D交并比训练场景检索深度学习模型，所述场景检索深度学习模型用于获得基于图像的回环检测、图像场景检索或视频场景检索的结果；

优选地，所述场景检索深度学习模型的损失函数为：

其中，des_i、des_j分别为两幅观测图像对应的全局描述子；Fov_i，j为两幅观测图像的视角锥的3D交并比，η代表指定间隔，dis表示距离函数。