[发明专利]一种基于移动终端的非接触式交互方法

说明书

技术领域：

本发明涉及人机交互技术领域，具体涉及一种基于移动终端的非接触式交互方法。

背景技术：

现行的移动终端的人机交互方式，主要是通过键盘与触摸屏。移动终端的面积与体积有限，无论是键盘还是触摸屏交互，都有所不便，容易出现误操作。

新型的人机交互方式有基于传感器的体感交互、基于动作图像识别的交互、基于肌肉计算的交互等。以上的各种交互方式能够弥补以前存在的不足，但在应用于移动终端上时，也有其各自的新问题与缺点。

基于传感器的体感人机交互方式，利用加速度传感器、重力传感器、陀螺仪等装置，感知其运动进行交互。重力传感器目前已经用于手机等终端内，但只能感知到手机本身的运动，而不是使用者的运动，应用范围很有限；如要感知使用者的运动，需要额外配置容纳传感器的遥控器，这在移动终端交互中是很不自然的，一定程度上破坏了移动终端的便携性。

基于动作图像识别的交互方式，利用特殊的可以采集景深信息的摄像头，拍摄使用者的动作，通过对图像的处理，重构出使用者的运动信息进行交互。该交互方式的缺点是景深摄像头比较昂贵，而且景深摄像头不能采集太近的距离，用于移动终端的交互不方便。

基于肌肉计算的交互方式，通过采集人体肌肉的肌电信号来判断人体的动作，从而进行交互。这种交互方式目前还不太成熟，设备不便携带。

因此，基于移动终端，需要一种新型的交互方法。

专利申请CN201110043418.7公开了一种移动终端的人机交互方法，使用移动终端内部的传感器与电动机，利用终端的主动旋转发出信号，被动旋转接受信号。该发明的主要局限是所能表达的信息种类十分有限。

专利申请CN201210056083.7公开了一种移动终端的非接触式控制装置与方法。该方法采集终端前方的视频图像并提取人手轮廓，但只能根据人手的运动方向发出命令，精细度不高。

专利申请CN201210520849.2公开了一种移动电子设备手势控制交互方法，该发明的创新在于动态调整感知动作的频率，节约移动终端的功耗。该发明使用的是加速度传感器，感应终端的运动。

发明内容：

本发明的目的是提供一种基于移动终端的非接触式交互方法，它通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。

为了解决背景技术所存在的问题，本发明是采用如下技术方案：它的交互方法包括以下步骤：

(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；

(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；

(三)、对人手所在区域进行进一步分类，划分出人手关键部位；

(四)、利用人手生理约束，对划分的部位进行补充与修正；

(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。

所述的一种基于移动终端的非接触式交互方法还可包括：第二图像采集设备与第一图像采集设备参数相同，并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参考深度图像。

所述的划分人手所在的感兴趣区域包括：

(i)、将采集的图像转换到HSV彩色空间；

(ii)、利用人肤色特征，初步划分人手区域；

(iii)、对划分结果进行去噪，去除小区域噪声影响。

所述的划分人体部位包括以下步骤：

(I)、预先收集人工标注的人手彩色图像，并进行位置预校正；

(II)、对人手各个部位的每个像素，提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；

(III)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器；

(Ⅳ)、在移动终端应用该分类器，对人手关键部位进行分类。

所述的对划分部位进行补充与修正包括以下步骤：

①、在分类步骤的结果中，标出像素过少以及缺失的部位；

②、在前面一定时间内的图像中，查找对应部位位置；

③、如果查找到足够的位置信息，使用轨迹拟合，得到本帧初步预测的缺失部位信息；

④、根据人手指指节刚体约束，除拇指外四指的共面约束，手指关节的弯曲角度约束，优先级从高到低，对上一步预测的部位信息做修正；如没有足够的预测信息，根据这些约束推断缺失部位的位置。