[发明专利]三维物体跟踪方法、装置及电子设备

说明书

本申请提出一种三维物体跟踪方法、装置及电子设备，属于计算机视觉技术领域。其中，该方法包括：在场景地图中包含目标物体的参考数据时，确定目标图像中包含的、与场景地图中的参考二维特征匹配的第一二维特征及目标物体在目标图像中的第一6DoF(Six Degrees of Freedom，六个自由度)位姿；若目标图像为关键帧图像，则对目标图像进行三维物体位姿估计，确定目标物体在目标图像中的第二6DoF位姿；若根据第一6DoF位姿与第二6DoF位姿确定的目标图像的跟踪偏差大于或等于第一阈值，则利用第二二维特征与三维空间点的匹配关系及第二6DoF位姿，替换场景地图中的已有参考数据。由此，通过这种三维物体跟踪方法，提高了移动物体跟踪的准确性和通用性。

技术领域

本申请涉及图像处理技术领域，尤其涉及计算机视觉技术领域，提出一种三维物体跟踪方法、装置及电子设备。

背景技术

三维物体跟踪技术是指根据图像中实际物体本身的特征，获得每帧中实际物体的6DoF(Six Degrees of Freedom，六个自由度)位姿的技术。

相关技术中，三维物体跟踪技术，根据三维模型中三维空间点与二维图像上的对应二维坐标，计算出实际物体的6DoF位姿。但是在应用中常常存在部分实际物体在场景图像中的面积较小，或纹理不丰富的情况，导致无法从实际物体本身提出足够的特征，从而使得跟踪难以进行下去。

发明内容

本申请提出的三维物体跟踪方法、装置及电子设备，用于解决相关技术中，由于实际物体在场景图像中的面积较小，或纹理不丰富时，导致无法从实际物体本身提出足够的特征，从而使得跟踪难以进行下去的问题。

本申请一方面实施例提出的三维物体跟踪方法，包括：检测场景地图中，是否包含目标物体的参考6DoF位姿、参考二维特征与三维空间点的匹配关系；若已包含，则根据目标图像中包含的第一二维特征，与所述参考二维特征的匹配关系，确定所述目标图像中包含的第一二维特征与三维空间点的匹配关系、及所述目标物体在所述目标图像中的第一6DoF位姿；按照预设的规则，判断所述目标图像是否为关键帧图像；若是，则对所述目标图像进行三维物体位姿估计，确定所述目标图像中包含的第二二维特征三维空间点的匹配关系、及所述目标物体在所述目标图像中的第二6DoF位姿；根据所述第一6DoF位姿与所述第二6DoF位姿的匹配度，确定所述目标图像的跟踪偏差；若所述跟踪偏差大于或等于第一阈值，则利用所述第二二维特征与三维空间点的匹配关系及所述第二6DoF位姿，替换所述场景地图中的参考6DoF位姿、参考二维特征与三维空间点的匹配关系。

本申请另一方面实施例提出的三维物体跟踪装置，包括：检测模块，用于检测场景地图中，是否包含目标物体的参考6DoF位姿、参考二维特征与三维空间点的匹配关系；第一确定模块，用于若已包含，则根据目标图像中包含的第一二维特征，与所述参考二维特征的匹配关系，确定所述目标图像中包含的第一二维特征与三维空间点的匹配关系、及所述目标物体在所述目标图像中的第一6DoF位姿；判断模块，用于按照预设的规则，判断所述目标图像是否为关键帧图像；第二确定模块，用于若是，则对所述目标图像进行三维物体位姿估计，确定所述目标图像中包含的第二二维特征与三维空间点的匹配关系、及所述目标物体在所述目标图像中的第二6DoF位姿；第三确定模块，用于根据所述第一6DoF位姿与所述第二6DoF位姿的匹配度，确定所述目标图像的跟踪偏差；替换模块，用于若所述跟踪偏差大于或等于第一阈值，则利用所述第二二维特征与三维空间点的匹配关系及所述第二6DoF位姿，替换所述场景地图中的参考6DoF位姿、参考二维特征与三维空间点的匹配关系。

本申请再一方面实施例提出的电子设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的三维物体跟踪方法。

本申请又一方面实施例提出的存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如前所述的三维物体跟踪方法。