[发明专利]一种基于单人手势和语音信息的机器人人工导航方法

摘要

本发明公开了一种基于单人手势和语音信息的机器人人工导航方法，通过体感设备Kinect采集当前环境中人体骨架关节点信息和语音信息，计算出骨架信息完整度和语音信息清晰度；如果骨架信息完整度大于等于骨架信息完整度阈值，则采用手势识别来进行机器人人工导航；如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度大于等于语音信息清晰度阈值，则采用语音识别来进行机器人人工导航；如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度也小于语音信息清晰度阈值，则不输出导航指令。本发明将手势和语音结合起来应用于机器人控制系统中，因此具有实用性强、准确性高、实时性好的优点。

主权项

一种基于单人手势和语音信息的机器人人工导航方法，其特征在于，该方法的具体步骤为：(1)通过体感设备Kinect采集当前环境中人体骨架关节点信息和语音信息，计算出骨架信息完整度和语音信息清晰度；(1.1)如果骨架信息完整度大于等于骨架信息完整度阈值，则转到步骤(2)；(1.2)如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度大于等于语音信息清晰度阈值，则转到步骤(3)；(1.3)如果骨架信息完整度小于骨架信息完整度阈值，且语音信息清晰度也小于语音信息清晰度阈值，则判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)；(2)手势识别：(2.1)定义九种不同的手势指令，九种手势指令分别为向右、向后、向左、向前、右前、右后、左后、左前和停止，且每种手势指令对应着一种向量，得到九个不同的向量ni，i＝[1,9]；其中：向右对应向量n1，向后对应向量n2，向左对应向量n3，向前对应向量n4，右前对应向量n5，右后对应向量n6，左后对应向量n7，左前对应向量n8，停止对应向量n9；(2.2)选取右臂的右肘Per和右腕Pwr作为手势识别的两个关节点；将以右肘Per为起点，且以右腕Pwr为终点的向量new作为特征向量来识别各种手势指令；(2.3)计算向量new与步骤(2.1)中向量ni的夹角θ，并找出最小夹角θmin；(2.4)比较θmin与手势置信度阈值Tθ的值，当θmin≥Tθ时，手势识别失败，进入步骤(3)；否则识别成功，输出θmin对应的手势向量所对应的手势指令，接下来判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)；(3)语音识别：(3.1)建立语音识别引擎对象，将控制机器人运动的九个指令加到该对象的语法中，Grammar＝{“forward”,“back”,“left”,“right”,“northeast”,“southeast”,“southwest”,“southnorth”,“stop”}；(3.2)从体感设备Kinect的传感器获取原始音频数据流，通过降噪、自动增益控制和回声消除提高音频质量；(3.3)语音识别引擎对象接受步骤(3.2)处理过的音频数据流，并与其语音库进行匹配，解析出文本结果；(3.4)计算解析出的文本结果与语法中每个词的语音置信度的值C，并取出最大语音置信度的值Cmax；(3.5)令语音置信度阈值为TS，当Cmax≥TS时，识别成功，算法输出Cmax对应的语音指令；否则识别失败，不输出行走指令；(3.6)判断程序是否结束，如果是，则程序结束，如果否，则程序回到步骤(1)。