[发明专利]基于GPU的深度图修复和虚实场景结合技术

说明书

技术领域

本发明属于计算机视觉、体感交互、增强现实领域的技术。具体涉及一种基于Kinect的传感器通过基于GPU运算的深度修复技术，进行人机交互和虚实场景结合，给参与者以更好的互动体验。

背景技术

体感交互技术是指通过用户的肢体隔空为计算机提供信息，扩展了以往传统的鼠标和键盘等输入控制设备，使得人机交互具有更加广阔的空间，操控更加自由，展现方式也更加灵活，为人类提供了新型的互动体验感受。体感交互作为一个新兴的领域，已经逐渐步入人类的日常生活当中，并且日趋流行，在游戏、医疗、零售、教育、展览展示、以及商业产品推广等领域都有着十分广泛的应用前景。

增强现实技术是在寻你现实技术的基础上发展起来的新兴技术，也被称为混合现实技术。是指通过计算机系统提供的信息增加体验者对真实世界的感知的一项技术。并且将虚拟的信息应用到真实世界当中，并将计算机产生的虚拟物体、场景或系统提示信息，有机的叠加到真实场景中，从而实现对真实场景的增强。本发明集中解决了为属于虚拟世界的物体与真实物体有机叠加提供位置信息的问题。

新型的体感传感器为增强现实领域提供了更广阔的空间和更多的可能性，由此也诞生了许多新的问题，尤为突出的就是本发明中涉及的如何正确、自然的将体感设备的数据与传统的RGB摄像机设备的采集数据相互配准、结合，实现虚拟与真实物体的有机叠加。这一步骤，是关系到互动体验质量的关键所在。只有基于正确的结合技术，才能使得新型设备的功效得到最大化的发挥，体现其优越性。

在新型传感器的应用过程中，通过体感传感设备采集信息的同时，传统的RGB摄像机也采集了场景的信息，这就需要将通过不同传感设备采集到的信息进行标定、配准。传统的基于Homography的标定方式仅在处理同一景深的图像时，可以获得正确的标定、配准融合。如何处理体感传感器采集到的带有深度内容的体感信息，研究一种根据深度进行自适应调整的标定、配准方法，有着十分重要的意义。

此外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在日常生活中，场景真实性的主要决定性因素在于场景中物体深度关系是否正确。深度关系是否正确决定了物体遮挡关系是否正确，如果在此环节不正确，则会巨大的影响互动体验效果，而不能给人带来“增强的”现实感受。

然而目前为止，新型体感互动传感也存在一定的弱点。其中很重要的一个方面就是由于多种硬件和原理方面的因素，很多情况下，无法获得如同传统的RGB摄像机一样致密的采样图像，体感互动传感器获得的深度图往往会在边缘、强反射、强吸收区域得不到深度信息。

因此，本发明通过基于模式识别的图像分割技术和自适应的深度图、彩色图配准技术，集中解决了新型体感设备在缺失深度的位置的深度补充问题。将深度图通过模式识别的技术，利用RGB图像对深度图进行补充，补充完好后，给人带来优质的互动体验。

随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要更加丰富和生动的表现形式，将体感信息进一步完善、补充的技术，可以极大的提升用户的互动体验质量。因此，深度图修复和虚实场景结合的技术应用到体感交互领域具有重要意义。

发明内容

(一)要解决的技术问题

本发明主要解决了Kinect深度图的漏洞修复问题。基于GPU实现了Quickshift算法，实现了彩色图的图像分割；并利用自适应的深度图与彩色图配准算法，实现了深度图与彩色图的标定、配准，并对深度图的缺失数据进行了补充。并在此基础上，进行虚拟物体与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。

(二)技术方案

为完成以上目标，本发明提出了基于GPU的深度图修复和虚实场景结合技术，包括以下步骤：主要步骤为：(1)采集深度图和彩色图；(2)对图像进行下采样，以保证实时的修复速度；(3)使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。首先对Kinect的深度图和彩色图进行配准。如果该区域内存在深度数据，则使用本区域的平均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补。(5)对图像进行上采样。

(三)有益效果