[发明专利]基于Kinect的操纵网络浏览器的系统及方法

说明书

技术领域

本发明涉及一种操纵网络浏览器的系统及方法，尤其是一种基于Kinect的操纵网络浏览器的系统及方法。属于人机交互领域。

背景技术

2010年，微软公司正式发布了Kinect。Kinect是一款新型3D体感摄像设备。它可以获得骨骼、深度等原始感测数据流，对人的动作进行追踪和检测，以完成对计算机的控制。这种即时动态捕捉用户的肢体信息实现的人机交互方式具有一定的革命意义。同时，Kinect因其紧凑的，廉价的和易于使用的特点，必定会在世界范围内普及，成为一款家用的计算机辅助设备。

目前，市面上存在一些针对Kinect且与网络浏览器有关的应用开发，具体如下：

1)微软研究院有一个免费的JavaScript API——Kinected Browser。Kinect的数据可用于JavaScript或者DOM的编程。Xbox360上的IE浏览器可以使用Kinect手势操作。麻省理工学院的一个团队开发了Depthjs，允许使用Kinect进行网页浏览操作，包括点击、前进、后退、页面滚动、平移和放大。但是，这些项目都没有实现手势输入，用户进行网页浏览时难免会遇到需要进行输入的时候，如果要求用户使用手势来操作网页浏览器，而使用键盘进行输入，这显然是非常别扭的，不便于人机交互。

2)中国专利申请号为201110388900.4的基于手势识别的会议演示交互方法，它是通过采集图像中演示控制区域内的数据，识别身处演示控制区域内用户的手势，然后从控制手势集合中获取对应的控制命令，并通过其控制会议演示内容的输出。但演示者只能控制PPT的前进、后退、播放、停止等，并不能在PPT上进行标记操作，即不能在PPT上书写，也没有提供一些辅助的功能例如放大镜等，对于远程操作者来说会造成一定的操作难度。

3)中国专利申请号为201180061879.5的发明是英特尔公司提出的用于与网络浏览器上的内容交互的方法、装置和系统，它提出的是一种宏观的概念，而且重点研究用户手势的识别，工具也不只是针对Kinect。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供一种基于Kinect的操纵网络浏览器的系统，该系统在用Kinect操纵网络浏览器时，可以通过手势实现对网络浏览器的基本控制和文本信息的输入。

本发明的另一目的在于提供一种基于Kinect的操纵网络浏览器的方法。

本发明的目的可以通过采取如下技术方案达到：

基于Kinect的操纵网络浏览器的系统，所述系统通过支撑层、逻辑处理层和交互层三层体系结构实现，具体包括：

数据流接收模块，用于在支撑层接收Kinect传感器的原始数据流；

动作信息获取模块，用于在支撑层通过Kinect传感器的原始数据流获取用户的相关信息，并根据用户的相关信息触发相应的事件，将与事件对应的动作信息发送给逻辑处理层；

动作信息处理模块，用于在逻辑处理层对支撑层发送的动作信息进行处理，并将处理结果发送给交互层；

显示模块，用于在交互层利用浏览界面或输入界面显示逻辑处理层发送的处理结果。

作为一种优选方案，所述数据流接收模块中接收的原始数据流包括彩色图像数据流、深度图像数据流和骨骼信息数据流。

作为一种优选方案，所述动作信息获取模块具体包括：

数据流获取单元，用于获取深度图像数据流和骨骼信息数据流；

坐标转换单元，用于自动追踪用户手部的移动，并把深度坐标和骨骼坐标转换成二维的坐标，将手部的位置映射为屏幕上的坐标点；

信息提取单元，用于将从深度图像数据流和骨骼信息数据流中提取的信息进行保存；

手部状态判断单元，用于实时监听手部状态，并对手部状态进行判断，当手部处于握拳状态时，触发输入事件，将输入信息发送给逻辑处理层；当手部位置的Z坐标发生变化而XY坐标变化较小时，触发按压点击事件，将按压点击信息发送给逻辑处理层。

作为一种优选方案，所述动作信息处理模块具体包括：

输入信息判断与处理单元，用于对支撑层发送的输入信息进行判断，若输入信息是在浏览界面的手势信息，根据转换表将手势映射为实际的操作，并向交互层发送操作结果；若输入信息是在输入界面的轨迹信息，根据手部移动过程的数据信息生成墨迹集合，对墨迹进行分析，并向交互层发送墨迹信息和候选字集合；