[发明专利]用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置

说明书

本公开提供了一种用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置。在该方法中，获取当前帧图像以及所述当前帧图像对应的第一点云信息，第一点云信息基于摄像设备与环境空间的相对关系；以及在跟踪对象处于静态时，根据第一点云信息和跟踪对象的对象特征信息来确定当前帧图像中的跟踪对象相对于摄像设备的位姿，对象特征信息基于跟踪对象与环境空间的相对关系。该方法中通过利用第一点云信息对跟踪对象的相对关系进行转换，便于确定跟踪对象的位姿。

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置。

背景技术

图像跟踪技术是通过图像识别、红外、超声波等方式将摄像头拍摄到的对象进行定位。图像跟踪技术广泛应用于计算机视觉领域，比如，虚拟现实(VR，Virtual Reality)、现实增强(AR，Augmented Reality)等。

目前，图像跟踪技术与深度学习相结合来实现图像跟踪，其中主要采用在线学习和神经网络模型，无论是在线学习和神经网络模型，经过训练后应用于图像跟踪。在图像跟踪过程中，将获取到每帧图像输入给经过训练的在线学习模型或者神经网络模型，然后由在线学习模型或者神经网络模型输出跟踪对象的位姿信息。

然而，目前利用深度学习的图像跟踪存在一些问题，比如，应用到图像跟踪的深度学习模型是需要经过训练的，而模型训练需要大量的训练样本，目前难以提供大量的训练样本，尤其是在线学习模型。此外，神经网络模型由于卷积池化作用导致最后一层输出的位置信息丢失，而位姿信息中主要就是位置信息。鉴于此，如何在图像跟踪中无需应用深度学习的方式来确定跟踪对象的位姿是亟待解决的问题。

发明内容

鉴于上述，本公开提供了一种用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置。在本公开提供的确定位姿的方案中，第一点云信息是基于摄像设备与环境空间的相对关系，跟踪对象的对象特征信息基于跟踪对象与环境空间的相对关系，利用当前帧图像的第一点云信息将对象特征信息表征的跟踪对象与环境空间的相对关系转换为跟踪对象与摄像设备的相对关系，从而确定出跟踪对象的位姿。通过利用第一点云信息对跟踪对象的相对关系进行转换，便于确定跟踪对象的位姿。

根据本公开的一个方面，提供了一种用于在图像跟踪过程中确定跟踪对象的位姿的方法，包括：获取当前帧图像以及所述当前帧图像对应的第一点云信息，其中，所述第一点云信息基于摄像设备与环境空间的相对关系；以及在所述跟踪对象处于静态时，根据所述第一点云信息和所述跟踪对象的对象特征信息来确定所述当前帧图像中的所述跟踪对象相对于所述摄像设备的位姿，其中，所述对象特征信息基于所述跟踪对象与所述环境空间的相对关系。

可选地，在上述方面的一个示例中，还包括：根据所述第一点云信息、所述跟踪对象的对象特征信息以及上一帧图像的点云信息来确定所述跟踪对象的状态，所述状态包括静态和动态。

可选地，在上述方面的一个示例中，根据所述第一点云信息、所述跟踪对象的对象特征信息以及上一帧图像的点云信息来确定所述跟踪对象的状态包括：根据所述第一点云信息和所述跟踪对象的对象特征信息来确定所述当前帧图像中所述跟踪对象的第一匹配特征点集；根据所述第一匹配特征点集和上一帧图像的第二匹配特征点集来确定所述跟踪对象的状态，其中，所述第二匹配特征点集包括根据所述上一帧图像的点云信息与所述对象特征信息得到的第二匹配特征点对；以及在所述跟踪对象处于静态时，根据所述第一点云信息和所述对象特征信息来确定所述当前帧图像中的所述跟踪对象相对于所述摄像设备的位姿包括：在所述跟踪对象处于静态时，使用所述第一匹配特征点集来确定所述当前帧图像中的所述跟踪对象相对于所述摄像设备的位姿。