[发明专利]基于Kinect的操纵网络浏览器的系统及方法

权利要求书

1.基于Kinect的操纵网络浏览器的系统，其特征在于所述系统通过支撑层、逻辑处理层和交互层三层体系结构实现，具体包括：

数据流接收模块，用于在支撑层接收Kinect传感器的原始数据流；

动作信息获取模块，用于在支撑层通过Kinect传感器的原始数据流获取用户的相关信息，并根据用户的相关信息触发相应的事件，将与事件对应的动作信息发送给逻辑处理层；

动作信息处理模块，用于在逻辑处理层对支撑层发送的动作信息进行处理，并将处理结果发送给交互层；

显示模块，用于在交互层利用浏览界面或输入界面显示逻辑处理层发送的处理结果。

2.根据权利要求1所述的基于Kinect的操纵网络浏览器的系统，其特征在于：所述数据流接收模块中接收的原始数据流包括彩色图像数据流、深度图像数据流和骨骼信息数据流。

3.根据权利要求2所述的基于Kinect的操纵网络浏览器的系统，其特征在于：所述动作信息获取模块具体包括：

数据流获取单元，用于获取深度图像数据流和骨骼信息数据流；

坐标转换单元，用于自动追踪用户手部的移动，并把深度坐标和骨骼坐标转换成二维的坐标，将手部的位置映射为屏幕上的坐标点；

信息提取单元，用于将从深度图像数据流和骨骼信息数据流中提取的信息进行保存；

手部状态判断单元，用于实时监听手部状态，并对手部状态进行判断，当手部处于握拳状态时，触发输入事件，将输入信息发送给逻辑处理层；当手部位置的Z坐标发生变化而XY坐标变化较小时，触发按压点击事件，将按压点击信息发送给逻辑处理层。

4.根据权利要求3所述的基于Kinect的操纵网络浏览器的系统，其特征在于：所述动作信息处理模块具体包括：

输入信息判断与处理单元，用于对支撑层发送的输入信息进行判断，若输入信息是在浏览界面的手势信息，根据转换表将手势映射为实际的操作，并向交互层发送操作结果；若输入信息是在输入界面的轨迹信息，根据手部移动过程的数据信息生成墨迹集合，对墨迹进行分析，并向交互层发送墨迹信息和候选字集合；

按压点击信息判断与处理单元，用于对支撑层发送的按压点击信息进行判断，若按压点击信息是在浏览界面按压放大按钮、前进按钮、后退按钮或输入界面切换按钮的点击信息，或是在输入界面按压中英文切换按钮、识别按钮或浏览界面切换按钮的点击信息，触发相应的事件，并且这个事件触发另一个可为交互层接收到并作出响应的事件；若按压点击信息是在浏览界面按压悬停按钮的点击信息，开启定时器，收集若干个手部的位置点信息，当定时器的时间为1.5秒且所有位置点都在一个小范围内，判断为悬停点击，计算所有位置点的平均值确定点击的目标位置，然后发送目标位置信息给交互层。

5.根据权利要求4所述的基于Kinect的操纵网络浏览器的系统，其特征在于：所述显示模块，具体如下：

用于当交互层接收到的是向上或向下挥手的手势信息，则在浏览界面向上或向下滚动网页页面；当交互层接收到的是墨迹信息，则输入界面的画板的输入区域上显示手写笔迹，或将手写笔迹清除；当交互层接收到的是放大按钮的事件，则在浏览界面将网页页面放大；当交互层接收到的是前进按钮或后退按钮的事件，则在浏览界面进行网页页面跳转；当交互层接收到的是输入界面切换的事件，则将浏览界面切换成输入界面；当交互层接收到的是中英文切换按钮的事件，则在输入界面将中文切换为英文，或将英文切换为中文；当交互层接收到的是识别按钮的事件，则在输入界面生成候选字；当交互层接收到的是浏览界面切换按钮的事件，则将浏览界面切换成输入界面；当交互层接收到的是悬停点击的目标位置信息，则在浏览界面的目标位置触发鼠标点击事件。

6.基于Kinect的操纵网络浏览器的方法，其特征在于所述方法通过支撑层、逻辑处理层和交互层三层体系结构实现，具体包括：

在支撑层接收Kinect传感器的原始数据流；

在支撑层通过Kinect传感器的原始数据流获取用户的相关信息，并根据用户的相关信息触发相应的事件，将与事件对应的动作信息发送给逻辑处理层；

在逻辑处理层对支撑层发送的动作信息进行处理，并将处理结果发送给交互层；

在交互层利用浏览界面或输入界面显示逻辑处理层发送的处理结果。