[发明专利]基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法

说明书

基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法，采用鼠标和键盘行为模拟的切换系统分别与Kinect感应器和输出设备连接；所述切换系统包括五个模块，由主程序模块分别与数据捕获模块，鼠标行为模拟模块、键盘行为模拟模块和行为切换模块连接；数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；鼠标行为模拟模块负责鼠标左键的单击、双击和右键的单击行为模拟；键盘行为模拟模块负责按键按下和弹起行为的模拟；行为切换模块负责状态的切换，即鼠标行为模拟和键盘行为模拟的切换。本发明具有将彩色图像应用到动作识别中，在很大程度上减少动作的数量，避免动作之间的相互影响的优点。

技术领域

本发明属于人机交互技术领域，主要是将Kinect感应器捕获的彩色图像应用到动作识别中，来实现鼠标和键盘的行为模拟切换。为了使模拟鼠标和键盘行为的系统能够使用更少的动作类型和具有更灵活的操纵性，本文在前人的基础上，提出了一种新的设计思路，通过读取Kinect感应器彩色图像数据和其自带骨骼跟踪的特性，实现鼠标和键盘的行为模拟切换。通过加入彩色图像识别，可以有效的减少要识别的动作类型数量，从而减少动作之间的相互干扰，像素颜色可选范围很广，从而提供了较大的识别域，同时通过标定骨骼点颜色，使其骨骼点位于感应器视野的中心位置，以此达到提高动作行为识别的准确度和精度目的。

背景技术

人机交互技术作为计算机技术研究领域中一个至关重要的环节，吸引着越来越多的学者在探求更方便、快捷的交互方式^[1]。交互方式取得里程碑的意义，来自于人们熟练使用鼠标和通过可视化用户界面操纵计算机。传统鼠标和键盘的操作模式的缺陷和局限性也越来越凸显，人们不再满足传统的交互方式^[2]，从而促使人们不断寻找其他的更为自然舒适的交互方式。下表是人机交互方面的动作识别的相关研究。

表1人机交互方面的动作识别的相关研究文献

伴随着人机交互技术的不断提升，出现了能够捕捉深度信息的感应器，如Kinect感应器，具有动态捕获人体彩色图像、深度图像和骨骼数据、并通过麦克风输入来进行语音辨识和语音来源方向定位等功能，Kinect V2能够追踪6套完整骨骼以及每人25块关节，并可以捕获每个关节信息，理解人体动作行为，并向计算机发送鼠标和键盘的操作指令，再以计算机作为媒介，来操控依托于计算机的机器设备和游戏等，使得人机交互不再受距离、位置和硬件方面的限制，操作更加自然、方便且更符合人机交互的初衷。但是通过人体动作识别(人体静止位置的定位、人体运动状态的跟踪、人体不同姿势的识别以及对人体不同行为的理解实现人机交互，会出现动作类型数量过多产生不同动作类型之间相互影响、一个模拟行为中出现另一个模拟行为、如何动态提取彩色图像、骨骼点抖动引起的光标抖动等众多问题。

发明内容

本发明的目的正是为了克服上述现有技术存在的缺陷和不足之处而提出一种基于动作识别和彩色图像识别对鼠标和键盘模拟行为的切换方法，本发明针对Kinect设计开发过程中遇到的问题，提出的解决方案如下。

(1)在提取彩色图像上转换后骨骼点位置处像素颜色的基础上，提出了通过标定颜色，来让Kinect感应器通过检测标定的颜色是否为红色，或者其它颜色，来自动计算旋转角度并旋转，从而使骨骼点位于感应器视野的中心位置，以此达到提高动作行为识别的准确度和精度目的。

(2)为了减少动作类型的数量，将Kinect捕获的彩色图像应用到动作识别中，将动作识别转换为判定彩色图像上骨骼点对应的像素颜色的四个通道值的范围，实现键盘和鼠标模拟行为的切换，很大程度上减少了动作类型数量，避免了个动作之间的相互干扰，由此避免了一个模拟行为中出现另一个模拟行为。

本发明技术方案如下：