[发明专利]位姿跟踪方法及装置

说明书

提供一种位姿跟踪方法及装置。该位姿跟踪方法包括：获取跟踪对象的图像，其中，跟踪对象上设置有以特定频率闪烁的标记；从获取的图像中获取亮度变化的像素；基于获取的像素计算跟踪对象的6自由度姿态，从而降低了位姿跟踪对LED标记特定布局的依赖性，同时降低了位姿跟踪的延迟，并且提高了位姿跟踪的精度和效率。

技术领域

本公开涉及计算机视觉技术领域。更具体地，本公开涉及一种位姿跟踪方法及装置。

背景技术

近几年，多种6自由度位姿估计的方法被提出并且广泛应用于机器人抓取、虚拟现实/增强现实和人机交互等领域。虚拟现实和增强现实对系统延迟有很高的要求。如果系统对于头部运动反应较迟钝，那么就会导致用户眩晕、恶心。维尔福(Valve)的系统的延迟在7-15毫秒。目前商用的虚拟现实(VR)追踪产品最低的延迟是15毫秒，还不能让用户拥有完美的沉浸式体验。

当前很多光学跟踪系统都是基于互补金属氧化物半导体(CMOS)相机的。但是这种消费机的CMOS相机延迟一般都大于16.7毫秒(60FPS)。硬件的限制导致这些方法不能够及时的将用户的动作输入显示在屏幕上，不能满足VR的低延迟要求。

在一些方案中也使用主动式发光二极管(LED)标记来恢复物体的6自由度姿态。但是这些方法都有一些限制，要么LED灯的数目必须是四个且是共面的，要么计算量比超过预设偏差阈值不能应用于实时的系统。仅仅有4个LED灯会影响位姿跟踪的精度和系统的健壮性，这是因为如果其中有一个灯没有被检测到，那么位姿解算就会失败。另外，暴力求解2D/3D点集的对应关系非常耗时，不能够应用于LED灯较多的情况下和实时系统中。

发明内容

本公开的示例性实施例在于提供一种位姿跟踪方法及装置，以降低位姿跟踪对LED标记特定布局的依赖性，同时降低位姿跟踪的延迟，并且提高位姿跟踪的精度和效率。

根据本公开的示例性实施例，提供一种位姿跟踪方法，包括：获取跟踪对象的图像，其中，所述跟踪对象上设置有以特定频率闪烁的标记；从获取的图像中获取亮度变化的像素；基于获取的像素计算所述跟踪对象的6自由度姿态，从而降低了位姿跟踪对LED标记特定布局的依赖性，同时降低了位姿跟踪的延迟，并且提高了位姿跟踪的精度和效率。

可选地，基于获取的像素计算所述跟踪对象的6自由度姿态的步骤可包括：获取所述跟踪对象的惯性测量单元数据，基于获取的惯性测量单元数据估计所述跟踪对象的3自由度姿态，其中，所述3自由度姿态是在所述跟踪对象的本体坐标系下绕x、y、z三个坐标轴旋转的姿态；基于所述3自由度姿态和获取的像素计算所述跟踪对象的6自由度姿态，其中，所述6自由度姿态是在所述跟踪对象的本体坐标系下沿x、y、z三个坐标轴方向的姿态和绕x、y、z三个直角坐标轴旋转的姿态，从而提高了位姿跟踪的精度和效率。

可选地，基于所述3自由度姿态和获取的像素计算所述跟踪对象的6自由度姿态的步骤可包括：基于所述3自由度姿态和获取的像素，求解所述标记的2D点集与3D点集的对应关系，得到所述标记的关于2D点集与3D点集的匹配对，其中，所述2D点集中包括所述标记的像素坐标，所述3D点集中包括所述标记在所述跟踪对象的本体坐标系下的坐标；基于所述匹配对，计算所述跟踪对象的6自由度姿态，从而提高了位姿跟踪的精度和效率。

可选地，计算所述跟踪对象的6自由度姿态的步骤可包括：从所述匹配对中去除重投影偏差超过预设偏差阈值的像素，并根据去除后剩余的像素计算6自由度位姿；对计算得到的6自由度位姿进行最小化重投影误差操作，得到所述跟踪对象的6自由度姿态，从而提高了位姿跟踪的精度和效率。

可选地，计算所述跟踪对象的6自由度姿态的步骤可包括：从所述匹配对中去除重投影偏差超过预设偏差阈值的像素，并根据去除后剩余的像素计算6自由度位姿；对计算得到的6自由度位姿进行最小化重投影误差操作；根据所述3自由度姿态对最小化重投影误差操作后的6自由度位姿进行优化，得到所述跟踪对象的6自由度姿态，从而提高了位姿跟踪的精度和效率。