[发明专利]物体三维位置检测方法、装置、电子设备及存储介质

说明书

本公开关于一种物体三维位置检测方法、装置、电子设备及存储介质。其中，该方法包括：确定目标视频中每个视频帧对应的物体三维信息，所述目标视频包含至少一个物体；对所述目标视频中所有视频帧对应的物体三维信息进行聚类；根据每个聚类关联的视频帧，对所述目标视频对应的所有聚类进行筛选，得到所述目标视频对应的目标聚类；根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置；根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置。根据本公开的方案，可以实现更加精确的物体三维位置信息的检测。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种物体三维位置检测方法、装置、电子设备及存储介质。

背景技术

随着混合现实(Mixed Reality，MR)技术的日益发展，可以在现实场景呈现虚拟场景信息，以在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

目前，依靠视觉信息进行三维重建是多种混合现实应用的基础，比如对室内环境中常见的物体进行三维重建。进一步地，可以根据重建物体的三维位置信息对图像或视频叠加特效，以丰富图像或视频的呈现效果。

因此，亟需一种能够准确的获取物体的三维位置信息的方案。

发明内容

本公开提供一种物体三维位置检测方法、装置、电子设备及存储介质，以通过提供一种鲁棒性能更佳、应用范围更广的物体三维位置检测方案，达到实现更加精确的物体位置信息检测的目的。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种物体三维位置检测方法，包括：

确定目标视频中每个视频帧对应的物体三维信息，所述目标视频包含至少一个物体；对所述目标视频中所有视频帧对应的物体三维信息进行聚类；根据每个聚类关联的视频帧，对所述目标视频对应的所有聚类进行筛选，得到所述目标视频对应的目标聚类；根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置；根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置。

可选地，所述确定目标视频中每个视频帧对应的物体三维信息，包括：

确定所述目标视频中每个视频帧对应的相机姿态；对所述目标视频中每个视频帧分别进行物体检测，得到每个视频帧对应的物体检测结果；根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息。

可选地，每个视频帧对应的物体检测结果包括每个物体的物理尺寸、每个物体相对相机的姿态和每个物体的特征向量；其中，所述根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息，包括：

根据每个物体的物理尺寸、每个物体相对相机的姿态和每个视频帧对应的相机姿态，将每个物体投影到世界坐标系，得到每个物体对应的三维包围盒；根据每个物体的特征向量在预设物体模型库中进行检索，得到每个物体对应的三维模型；将每个视频帧中每个物体对应的三维包围盒和三维模型作为每个视频帧对应的所述物体三维信息。

可选地，所述根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置，包括：

根据每个目标聚类内的三维包围盒的尺寸和物体相对相机的姿态，确定每个目标聚类对应的物体的初始三维位置。

可选地，所述根据每个目标聚类内对应的三维包围盒的尺寸和物体相对相机的姿态，确定每个目标聚类对应的物体的初始三维位置，包括：

将对每个目标聚类内所有的三维包围盒的尺寸的求取平均值的结果、以及对每个目标聚类内所有的物体相对相机的姿态的求取平均值的结果投射到世界坐标系，得到每个目标聚类对应的物体的初始三维位置。