[发明专利]物体三维位置检测方法、装置、电子设备及存储介质

权利要求书

1.一种物体三维位置检测方法，其特征在于，包括：

确定目标视频中每个视频帧对应的物体三维信息，所述目标视频包含至少一个物体；

对所述目标视频中所有视频帧对应的物体三维信息进行聚类；

根据每个聚类关联的视频帧，对所述目标视频对应的所有聚类进行筛选，得到所述目标视频对应的目标聚类；

根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置；

根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置。

2.根据权利要求1所述的物体三维位置检测方法，其特征在于，所述确定目标视频中每个视频帧对应的物体三维信息，包括：

确定所述目标视频中每个视频帧对应的相机姿态；

对所述目标视频中每个视频帧分别进行物体检测，得到每个视频帧对应的物体检测结果；

根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息。

3.根据权利要求2所述的物体三维位置检测方法，其特征在于，每个视频帧对应的物体检测结果包括每个物体的物理尺寸、每个物体相对相机的姿态和每个物体的特征向量；

其中，所述根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息，包括：

根据每个物体的物理尺寸、每个物体相对相机的姿态和每个视频帧对应的相机姿态，将每个物体投影到世界坐标系，得到每个物体对应的三维包围盒；

根据每个物体的特征向量在预设物体模型库中进行检索，得到每个物体对应的三维模型；

将每个视频帧中每个物体对应的三维包围盒和三维模型作为每个视频帧对应的所述物体三维信息。

4.根据权利要求3所述的物体三维位置检测方法，其特征在于，所述根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置，包括：

根据每个目标聚类内的三维包围盒的尺寸和物体相对相机的姿态，确定每个目标聚类对应的物体的初始三维位置。

5.根据权利要求3所述的物体三维位置检测方法，其特征在于，每个视频帧对应的物体检测结果还包括每个物体的第一分割掩码；

其中，所述根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置，包括：

根据相机姿态和每个目标聚类对应的物体的初始三维位置，将每个目标聚类对应的物体的三维模型投影到每个目标聚类对应的视频帧上，得到每个目标聚类对应的物体的第二分割掩码；

根据每个物体的第一分割掩码、每个目标聚类对应的物体的第二分割掩码、以及每个目标聚类对应的三维包围盒的交并比，确定每个目标聚类对应的物体的目标三维位置。

6.根据权利要求5所述的物体三维位置检测方法，其特征在于，所述根据每个物体的第一分割掩码、每个目标聚类对应的物体的第二分割掩码、以及每个目标聚类对应的三维包围盒的交并比，确定每个目标聚类对应的物体的目标三维位置，包括：

根据每个物体的第一分割掩码、每个目标聚类对应的物体的第二分割掩码、以及每个目标聚类对应的三维包围盒的交并比，确定所有目标聚类对应的目标函数，所述目标函数用于表征物体位置和姿态；

对所述目标函数进行最小化处理，得到最小化处理的结果，其中，所述最小化处理的结果与每个目标聚类对应的物体的目标三维位置对应。

7.根据权利要求6所述的物体三维位置检测方法，其特征在于，所述目标函数为：-log^Loss，其中，

其中，N代表所述至少一个物体的总数，M代表所述目标视频中所有视频帧的总数，代表第i个物体在第j帧视频上的第一分割掩码，代表第i个物体在第j帧视频上的第二分割掩码，IOU代表交并比，代表各个物体之间的碰撞体积；i取1,…,N，j取1,…,M。