[发明专利]一种基于kinect的裸眼3D UI交互方法

说明书

技术领域

本发明在基于裸眼3D UI新技术的基础之上，利用kinect实现了一种交互方法，该方法进一步拉近了虚拟世界与现实生活的距离。

背景技术

裸眼3D显示技术作为显示行业内的一个重要发展方向，目前在视频显示领域已经取得了比较成熟的成果，如何打破单一的视频显示模式，将模型、图文与视频进行融合，以裸眼3D UI的形式呈现出来，目前本团队已经取得了显著的成果。

随着技术的发展，人机交互日趋简易化，易操作化，人们对交互的体验已不再满足于借助鼠标、键盘等辅助媒介的体验，裸眼3D UI虽然给人以更好的视觉感受，但在人机交互体验方面仍存在一定的不足，尤其是大屏裸眼3D产品对观看距离有一定的限制，以46寸4k裸眼3D广告机为例，最佳观看距离在3米左右，故如果采用键盘鼠标对其进行操作将存在很大的不便。基于此，本发明借助Kinect设备，在视觉享受的同时将交互体验融入其中，进一步拉近了人与虚拟世界的距离，在呈现方式上给人以耳目一新的感觉，在实现了裸眼3D内容呈现多样性的同时加入与客户互动交流的新体验，本发明尤其适用于广告机系统、产品展示及科研教学等。

发明内容

本发明解决的问题是利用kinect实现裸眼3D UI的人机交互。具体实现步骤如下：

第一步：将Kinect接入计算机系统；

第二步：通过深度图信息，对人体进行识别，主要是针对手掌部位的识别，通过识别判定是否需要进行操作响应，当检测当前画面中存在动态的手势时，则进入第三步，否则循环进行第二步的检测；

第三步：通过手心深度信息的获取，判断手心对应UI的区域，计算机将操作信息反馈给对应区域进行操作响应，鉴于裸眼3D UI在制作中是采用模块独立渲染的方式，即UI中涉及的视频模块、文字模块及产品模型展示模块等均是经过独立的多宫格视图渲染合成，最终以动态库的形式合成展现为一个完整的UI界面，故本步骤进行操作对应模块的检测，该模块可以单独对手势信息进行响应。

第四步：手势响应，此处需要将Kinect采集到的彩色图像和深度图像进行骨骼特征的提取，提取后的骨骼信息经由DTW动态规划算法的加权的不同，利用分类树的统计方法进行训练，最终实现有效的手势识别的检测与响应。此处手势信息的检测主要分为两部分，一是手部与摄像头的距离变动，另一个是手势的挥动。通过这两种手势信息，可以简单地定义对裸眼3D UI的点击、旋转、关闭等操作。具体的见下文中的实施例的介绍。同理我们也可以根据不同的界面的操作需求进行各种不同的手势定义，本发明只以其中的一种比较简单的实施例进行加以阐述。

本发明在进行手势识别操作中很主要的信息是来自于人手与摄像头的距离信息，而在Kinect中生成的深度图是用灰度图的灰度信息来表示的，其与实际的距离并不成标准的线性关系，故当人手与摄像头的距离减小时，由于Kinect中的金字塔视场会导致获取的图像的分辨率增大，故本发明在实际的应用中，根据识别到的手掌的大小即图像的灰度值大小，将获取的图像的灰度值转换为实际距离的深度值。根据Kinect的转换原理，实际距离的深度值d为：

d=K*tan(dP2842.5+1.1863)-M]]>

其中，K＝0.1237m，M＝0.038m，d_p为Kinect获取的某一像素点的深度值。

根据实际深度距离值，转换为原始像素位置(i，j，d)的实际位置(x，y，z)，转换公式为：