[发明专利]支持移动虚拟现实应用的单Kinect多人跟踪系统及方法

说明书

本发明公开了一种支持移动虚拟现实应用的单Kinect多人跟踪系统及方法，本发明在单Kinect捕捉设备的情况下，可完成对不同程度遮挡使用者位置的实时跟踪，保证玩家的流畅性、沉浸式体验。本发明利用在一定的光照条件下，当使用者被遮挡时，该使用者的影子不会被遮挡的原理，将将求解遮挡使用者的运动转换为求解遮挡使用者影子运动的问题，能够准确检测到各个使用者的位置，而不仅仅是估计使用者位置，真正实现跟踪。

技术领域

本发明涉及一种支持移动虚拟现实应用的单Kinect多人跟踪系统及方法。

背景技术

位置跟踪是基于移动虚拟现实设备体验的关键问题之一，捕捉使用者在物理空间中的位置和方向，保证使用者运动的真实感觉与虚拟设备中所看到的图像之间的空间一致性。

目前，可用于移动VR中的定位技术主要有：

(1)全球定位系统(Global positioning system，GPS)方法，是广泛使用的卫星定位系统，其覆盖范围最大。然而，当GPS信号较弱而被干扰的建筑物甚至树叶以及包括室内场所在内的区域阻塞时，该系统将无法正常工作。同时， GPS不能部署在室内，因为在室内环境中不可能在接收机和卫星之间进行视距传输。

(2)室内定位系统(Indoor positioning system，IPS)，主要有基于WIFI信号、基于radio信号、基于超声波、基于红外线(infrared)的定位。这类定位传感器需要一个永久性的电子基础设施来促进测量，而依赖于这种基础设施的可定位物体需要特殊的传感器或执行器。

(3)基于视觉的跟踪方法，例如立体相机和飞行时间(TOF)相机。Kinect 是一个革命性的深度摄影机，成本比传统3D摄像机要低得多。它利用TOF(飞行时间)计算的方法，获取传感器出射光线遇到物体反射后的相位差，从而得到设备与实际场景之间的距离值，也就是深度值(depth)。由此形成的深度图像不仅可以用来判断物体相对体感设备的位置，还可以进一步得到物体的点云数据，甚至是角色的骨骼信息。

同时，遮挡是多使用者跟踪系统中一个不容忽视的重要问题，当使用者长时间处于遮挡状态时，如何识别使用者的位置而不影响使用者的沉浸式体验。目前的方法大多使用者检测模型检测到使用者，然后对使用者进行跟踪。但是，对于发生严重遮挡甚至完全遮挡的使用者，现有方法无法实现有效的跟踪。

发明内容

本发明为了解决上述问题，提出了一种支持移动虚拟现实应用的单Kinect 多人跟踪系统及方法。

本发明的第一目的是提供一种支持移动虚拟现实应用的单Kinect多人跟踪系统，本系统在单Kinect捕捉设备的情况下，可完成对不同程度遮挡使用者位置的实时跟踪，保证玩家的流畅性、沉浸式体验。

本发明的第二目的是提供一种融合多感知数据线索的遮挡目标的检测方法，本方法利用在一定的光照条件下，当使用者被遮挡时，该使用者的影子不会被遮挡的原理，将求解遮挡使用者的运动转换为求解遮挡使用者影子运动的问题，能够准确检测到各个使用者的位置，而不仅仅是估计使用者位置，真正实现跟踪。

为了实现上述目的，本发明采用如下技术方案：

一种支持移动虚拟现实应用的单Kinect多人跟踪系统，包括跟踪子系统和体验子系统，其中：

所述跟踪子系统包括图像捕获模块、终端传感器信息捕获模块、当前状态判断模块、定位实现模块和虚实位置映射模块：

所述图像捕获模块，被配置为通过体感摄像机Kinect，获取使用者的彩色图像信息和识别骨骼数据，为当前状态判断模块提供输入数据；

所述终端传感器信息捕获模块，获取手机陀螺仪的旋转信息，得到使用者的朝向信息；