[发明专利]一种基于语音和手势的增强现实输入方法及系统

说明书

本发明涉及语音手势识别技术领域，特别涉及一种基于语音和手势的增强现实输入方法及系统。包括以下步骤：步骤一、采集EMG肌电信号，预处理；步骤二、特征提取；步骤三、判断有效性；步骤四、唤醒语音输入；步骤五、采集语音信号，对所述语音信号预处理；步骤六、特征提取；步骤七、语音识别出的文本显示；步骤八、采集MEMS手势信号；步骤九、预处理；步骤十、特征提取；步骤十一、对手势识别结果判断；步骤十二、对应文本完成输入。本发明在增强现实系统中通过手势和肌电实现虚拟输入界面的语音交互。

技术领域

本发明涉及语音识别技术、手势识别技术、肌电信号技术以及增强现实技术领域，特别涉及一种基于语音和手势的增强现实输入方法及系统。

背景技术

在人际交往中，语言交流是最自然并且最直接的方式之一。随着技术的进步，越来越多的人们也期望计算机设备能够具备与人进行言语沟通的能力，因此，语音识别这一技术也越来越受到关注。随着移动互联网技术的不断发展，尤其是移动终端的小型化、多样化变化趋势，语音识别成为区别于键盘、触屏的人机交互手段之一，语音识别的性能得到了显著提升，也使得语音识别技术的普及成为了现实，应用于许多领域。

增强现实技术在各个行业和领域应用的越来越广泛，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

目前与人互动的增强现实方案中，主要是通过人的手势指令输入，来实现与增强现实环境互动。基于手势指令互动的增强现实方案的缺陷十分明显，用户体验不够便捷，不够智能。例如有些方案采用的是手指分别对应固定的多个键盘字符的方式进行输入，这种方式不仅需要用户记忆每根手指所对应的字符，而且选择每根手指其中的某个字符时候很不方便，输入效率十分低，有些方案在输入文字等信息时虽然有虚拟键盘辅助输入，但是基于虚拟键盘的高复杂度，以及面对不同操作者按键习惯的幅度不同，造成多种复杂手势的较低识别率，使得这种方案可行度也不高。基于语音指令的增强现实方案在室内安静环境下适用性较好，通过唤醒词来唤醒设备，切换到工作状态来等待用户接下来的指令。但在较为嘈杂的环境中或者是室外复杂环境中，自然交谈过程中以及环境噪声都会引起设备的错误唤醒，造成不必要的困扰。仅基于人的手势或者语音输入的单模态增强现实交互方式单一，用户体验感较差。那么如何提高用户在多种复杂情况下输入方式的交互性、适应性以及鲁棒性是目前输入技术中的一项关键内容。

发明内容

本发明实施例提供了一种基于语音和手势的增强现实输入方法及系统，包括增强现实技术，并在增强现实系统中通过手势和肌电实现虚拟输入界面的语音交互。

为了解决上述技术问题，本发明一种基于语音和手势的增强现实输入方法，包括如下步骤：

步骤一、采集EMG肌电信号，对采集的EMG肌电信号进行预处理，得到预处理EMG肌电信号；

步骤二、对预处理EMG肌电信号进行特征提取，获取肌电信号；

步骤三、判断有效的肌电信号是否连续输入超过三次：如果是则进入步骤五；否则返回步骤一；

步骤四、唤醒语音输入；

步骤五、采集语音信号，对所述语音信号预处理；

步骤六、对预处理过后的语音信号进行特征提取；

步骤七、语音识别出的文本显示在增强现实眼镜上；

步骤八、采集MEMS手势信号；

步骤九、对所述MEMS手势信号预处理，得到预处理MEMS手势信号；