[发明专利]一种基于单人手势和语音信息的机器人人工导航方法

权利要求书

1.一种基于单人手势和语音信息的机器人人工导航方法，其特征在于，该方法的具体步骤为：

（1）通过体感设备Kinect采集当前环境中人体骨架关节点信息和语音信息，计算出骨架信息完整度和语音信息清晰度；

（1.1）如果骨架信息完整度大于等于骨架信息完整度阈值，则转到步骤（2）；

（1.2）如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度大于等于语音信息清晰度阈值，则转到步骤（3）；

（1.3）如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度也小于语音信息清晰度阈值，则判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)；

（2）手势识别：

（2.1）定义九种不同的手势指令，九种手势指令分别为向右、向后、向左、向前、右前、右后、左后、左前和停止，且每种手势指令对应着一种向量，得到九个不同的向量n_i，i=[1,9]；如图4和图5所示，其中：向右对应向量n₁，向后对应向量n₂，向左对应向量n₃，向前对应向量n₄，右前对应向量n₅，右后对应向量n₆，左后对应向量n₇，左前对应向量n₈，停止对应向量n₉；

（2.2）选取右臂的右肘P_er和右腕P_wr作为手势识别的两个关节点；将以右肘P_er为起点，且以右腕P_wr为终点的向量n_ew作为特征向量来识别各种手势指令；

（2.3）计算向量n_ew与步骤（2.1）中向量n_i的夹角θ，并找出最小夹角θ_min；

（2.4）比较θ_min与手势置信度阈值T_θ的值，当θ_min≥T_θ时，手势识别失败，进入步骤（3）；否则识别成功，输出θ_min对应的手势向量所对应的手势指令，接下来判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)；

（3）语音识别：

（3.1）建立语音识别引擎对象，将控制机器人运动的九个指令加到该对象的语法中，Grammar={“forward”, “back”, “left”, “right”, “northeast”, “southeast”, “southwest”, “southnorth”, “stop”}；

（3.2）从体感设备Kinect的传感器获取原始音频数据流，通过降噪、自动增益控制和回声消除提高音频质量；

（3.3）语音识别引擎对象接受步骤（3.2）处理过的音频数据流，并与其语音库进行匹配，解析出文本结果；

（3.4）计算解析出的文本结果与语法中每个词的语音置信度的值C，并取出最大语音置信度的值C_max；

（3.5）令语音置信度阈值为T_S，当C_max≥T_S时，识别成功，算法输出C_max对应的语音指令；否则识别失败，不输出行走指令；

（3.6）判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)。

2.根据权利要求1所述的基于单人手势和语音信息的机器人人工导航方法，其特征在于，步骤（1）当前环境中只有一个目标人发出手势或者语音指令。