[发明专利]基于手势和语音识别控制的人机交互方法及其设备和应用

说明书

技术领域

本发明涉及一种基于手势控制和语音识别控制的人机交互方法，以及实现该方法的设备和该方法的应用，主要用于事件触发对定位可能存在不利影响的情况，并获得较低的或完全消除的不利影响。 

背景技术

手势控制、语音识别控制、人脸识别和眼动等技术的发展使得人机交互呈现自然化的趋势。但每一种自然交互方式都有其局限性，如手势控制利于精细定位，不利于确认和文字输入；语音识别控制利于开关型、选择性操作和文字输入，但无法进行精细定位；人脸识别和眼动较为舒适省力，也能定位，但在确认和文字输入上同样效率较低。 

目前，也存在一些将不同交互方法结合使用的方法，如公开号为CN200810030194.4的发明专利申请，其采用一个手指来定位，用另一个手指的动作来进行确定和取消的操作。但是，上述方案仍存在一定缺陷，即上述方案在实际应用中，另一个手指的额外动作（如事件触发时）一定会导致用于定位的手指的晃动，从而导致定位发生偏差。 

发明内容

基于现有技术的上述缺陷，本发明要解决的技术问题是，现有技术下的人机交互过程中，各种自然交互方式不仅存在一定的不足之处，而且，尤为重要的是，采用现有的人机交互模式时，操作者执行的某些操作之间存在相互间会产生不利影响的缺陷，进而使得操作者难以达到理想的操作效果。 

为了解决上述技术问题，本发明采用的主要技术方案是提供： 

一种基于手势控制和语音识别控制的人机交互方法，主要包括步骤：

（1）通过跟踪手的位置进行空间三维精细定位；

（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。

一种实现上述人机交互方法的设备，包括分别与中央处理器连接的： 

摄像装置，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；

定位装置，通过摄像装置跟踪手的位置得到的手的位置信息进行空间三维精细定位；

拾音装置，识别并获得语音指令；

触发装置，包括语音指令触发装置和/或手势指令触发装置，根据拾音装置识别得到的语音指令和/或摄像装置跟踪手的连续运动获得的手势指令来触发相应事件。

一种上述人机交互方法在常用软件中的应用，其中，通过手的定位来实现鼠标移动的功能，通过语音指令和/或手势指令来实现鼠标左右键的功能。 

本发明的有益效果是：本发明的方法中，通过采用手势控制来进行定位，可以获得准确的定位效果，并结合不会对手势定位产生不利影响的语音触发指令，使得本发明的方法可以显著降低触发指令对定位的不利影响，从而获得极高的定位准确性，同时，该种方法不仅可以适用于各种软件，更为重要的是，该方法应用于电子游戏软件时，能够模拟出更加真实的、自然的互动感受，可以使得应用者获得极好的游戏体验，让操作者获得更加身临其境的感觉。通过将以上几种自然交互方式进行组合，可以相互克服缺点，创造出前所未有的人机交互体验，应用在电子游戏软件中时，具有较大的市场价值。 

附图说明

图1是本发明的人机交互方法的一个实施例的整体流程示意图。 

图2是本发明的设备的一个实施例的框架结构示意图。 

具体实施方式

为了更好的表述本发明，以便于理解，下面结合附图通过具体实施方式对本发明作进一步描述。 

参见图1，本发明的基于手势控制和语音识别控制的人机交互方法，包括步骤： 

（1）通过跟踪手的位置进行空间三维精细定位；

（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。

其中，步骤（2）中，还可以包括跟踪手的连续运动来识别出手势指令以触发相应事件。 

在本发明的一个更优选实施例中，步骤（2）中，还包括用识别到的语音指令和手势指令共同作为触发指令来触发相应事件。

其中，步骤（2）中，所述手势指令包括手势组合指令。 

在本发明的上述任一个实施例的更进一步优选实施例中，还可以包括步骤：（3）跟踪头部或眼睛的视线来变换场景渲染角度； 

或者

（3＇）跟踪头部或眼睛的视线来切换场景中虚拟摄像机的位置、角度。

参见图2，本发明的实现人机交互方法的设备，其包括分别与中央处理器1连接的： 

摄像装置5，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；