[发明专利]一种基于语音和手势的增强现实输入方法及系统

权利要求书

1.一种基于语音和手势的增强现实输入方法，其特征在于，包括如下步骤：

步骤一、采集EMG肌电信号，对采集的EMG肌电信号进行预处理，得到预处理EMG肌电信号；

步骤二、对预处理EMG肌电信号进行特征提取，获取肌电信号；

步骤三、判断有效的肌电信号是否连续输入超过三次：如果是则进入步骤五；否则返回步骤一；

步骤四、唤醒语音输入；

步骤五、采集语音信号，对所述语音信号预处理；

步骤六、对预处理过后的语音信号进行特征提取；

步骤七、语音识别出的文本显示在增强现实眼镜上；

步骤八、采集MEMS手势信号；

步骤九、对所述MEMS手势信号预处理，得到预处理MEMS手势信号；

步骤十、对预处理后的手势信号进行特征提取，得到相应手势识别结果；

步骤十一、手势识别结果如果是取消选择指令，则返回步骤五，否则进入步骤十二；

步骤十二、选择与步骤十一中相应手势识别结果对应文本完成输入。

2.如权利要求1所述的一种基于语音和手势的增强现实输入方法，其特征在于，所述步骤二中，对EMG肌电信号的特征提取为按照最优决策函数f(x)进行特征提取：其中sgn为符号函数，为拉格朗日乘子，b^*为偏置参数，*表示所确定的最优决策函数中的最优参数；偏值b如下求解：

其中N_NSV为标准支持向量数，JN为标准支持向量的合集，J为支持向量的合集，K(x_j,x_i)为内积函数；

其中可分数据集D＝{(x_i,y_i)|i＝1,2,…,n}，其中输入向量x_i∈Rd,Rd为d维实数平面，目标数据为y_i∈{-1,+1}，如果x_i∈Rd属于第1类，则标记为正，即y_i＝1，如果属于第2类，则标记为负，即y_i＝-1。

3.如权利要求2所述的一种基于语音和手势的增强现实输入方法，其特征在于，所述步骤六中，语音信号特征提取包括：

采用BP神经网络算法，用一定数量的样本对神经网络进行训练；

输入语音样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量接近，当网络输出层的误差平方和小于误差阈值时训练完成，保存网络的权值和偏差。

4.如权利要求3所述的一种基于语音和手势的增强现实输入方法，其特征在于，所述步骤十中，具体子步骤包括:

选用Bakis类型HMM分别对各个手势动作进行建模，并初始化模型参数λ_i＝(A,B,π)，λ_i为第i个手势模型，A为隐含状态的转移概率矩阵，B为观测状态概率分布，π为初始状态概率分布向量；

分别反复采集各个手势动作信号的数据，并利用Baum-Welch算法来对手势模型λ_i进行训练，使模型参数趋于收敛，得出对应手势的最优λ_i；

选用Viterbi算法作为各个手势对应的HMM识别方法，将输入手势的加速度特征序列分别与训练好的λ_i进行计算评估，取其概率输出最大的λ_i为对应手势动作的识别结果。

5.如权利要求4所述的一种基于语音和手势的增强现实输入方法，其特征在于，所述步骤一、步骤五、步骤八中，采用异步控制的策略来输出控制指令。