[发明专利]基于手势与多语义之间柔性映射的手势操控方法

说明书

技术领域

本发明涉及一种基于手势与多语义之间柔性映射的手势操控方法。

背景技术

目前在交互式电视上用手势装配虚拟机器的过程中，往往需要对场景对象进行缩放、旋转、抓取、释放、移动、确定、取消等很多操作，一般情况下，一种手势对应一种功能命令，从而往往需要定义很多手势命令，而且缺乏高效的纠错方法，给用户带来极大的认知负荷和操作负荷。让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，尤其是在手势这种单通道输入条件下让操作者利用已有经验或知识就可以自然地完成交互任务而不受记忆大量手势命令的困扰，交互过程不会因为操作者的误操作而中断从而影响交互的流畅性，成为是本文的基本动机。

用户通过手部动作来对智能电视进行的控制基本上有两种方式：一种是基于MEMS惯性传感器的技术；另一种是基于数字图像处理的技术。基于MEMS惯性传感器的技术的手势控制器，代表作为“空中鼠标”。这种技术通过配备在手柄或遥控器中的传感器，捕获人手在空中运动的方向和速度，进而转化为对智能电视的光标操作或相关指令。目前，该技术已发展较为成熟。基于图像处理的智能电视手势控制技术，通过图像传感器捕获图像，利用图像分析技术跟踪识别用户的手部动作，进一步计算机将捕获到的用户的手部动作转化为相关的指令和操作。2012年，三星Smart TV智能电视通过其内置摄像头检测跟踪人手，将跟踪信号转化为相应的鼠标移动操作，通过握拳检测实现鼠标的点击操作。2014年，三星智能电视手势控制得到进一步升级提升，已支持双手识别控制，同时可自动跟踪用户的手势动作，降低了无效的手势命令。但是，大多数智能电视用户抱怨目前智能电视手势操纵界面普遍存在纠错难、手势命令难记等问题。

发明内容

为解决以上技术上的不足，本发明提供了一种基于手势与多语义之间柔性映射的手势操控方法，有效降低了操作者对于手势命令的认知负荷和操作负荷。

本发明是通过以下措施实现的：

本发明的一种基于手势与多语义之间柔性映射的手势操控方法，包括以下步骤：

步骤1，建立操作者手势数据库，存储若干个手势；建立上下文语义数据库，存储操作者手势数据库中每个手势在不同情景下的手势语义集；建立操作对象功能数据库，存储若干操作对象及可对每个操作对象施加的功能集合，每个功能集合对应有一个手势语义集合；建立面向语义的行为模型区别特征SDFBM数据库，存储操作者手势数据库中每个手势在不同量化区别特征条件下的多个语义，且该多个语义归为一个手势语义群，每个手势与对应的一个手势语义群之间建立柔性映射关系；

步骤2，从操作者手势数据库中识别出操作者实际做出的手势g，并在上下文语义数据库中确定手势g面向上下文的手势语义集合G；

步骤3，在操作对象功能数据库中得出当前操作对象上可以施加的功能集合，并根据该功能集合得出所对应的手势语义集合F；

步骤4，将步骤2中得到的手势语义集合G和步骤3得到的手势语义集合F进行交集计算，得到手势语义集合Ω，其计算公式为：Ω＝G∩F；

步骤5，如果手势语义集合Ω中有多个语义，首先在面向语义的行为模型区别特征SDFBM数据库中找到每个语义所在的手势语义群，然后根据柔性映射关系找到该手势语义群对应的手势g，再然后将操作者实际做出手势的量化区别特征与手势g的多个量化区别特征逐一比较，找出两者最为接近的那个量化区别特征，并将手势g在该量化区别特征条件下的那个语义S作为操作者的交互语义。

在步骤5中，如果手势语义集合Ω中有一个语义，则该语义作为操作者的交互语义。

在步骤1或步骤5中面向语义的行为模型区别特征SDFBM数据库内，每个手势的量化区别特征包括手势关节角度运动数据、手势各关节的平均变化速度数据、手势运动过程中手势重心位置数据。

本发明的有益效果是：能够实现一个手势对应多个语义，减少了需要定义的手势命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。

附图说明

图1为本发明的流程框图；

图2为在相同的交互情境下，同一个操作者手势具有不同操作语义示意图；

图3为三个实验的对比效果图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：