[发明专利]基于手势和语音控制的智能抓捕方法

摘要

本发明提供了一种基于手势及语音控制的机器人智能抓捕算法，包括步骤（1）手势快速定位；（2）基于自然语言理解的辅助定位定姿；（3）分割定位目标物；（4）路劲规划。本发明使用了基于智能感知的自然人机交互技术，当人手指向目标物并下达包含物体信息的语音抓捕命令时，机器人能在该语音信息的辅助下通过手指指向来快速定位目标物，并且自动规划出一条路径来抓捕物体，接着，在机器人靠近目标物时，还可通过语音命令来精细调整目标物的定位。这样，借助语音与手势的结合使得机器人的控制更加灵活方便并且能工作在更为复杂的环境中。

主权项

1.基于手势和语音控制的智能抓捕方法，其特征在于包括如下步骤：S1：手势快速定位，采用基于手势的快速定位，利用手指指向，机器人能初步定位目标物；S2：基于自然语言理解的辅助定位定姿，若操作者下达的语音抓捕命令中包含目标物的相关信息，则机器人利用此信息来过滤无关物，只留下可能的目标物，由此作为手势定位的范围，当目标物与其他物体位置相近时，利用颜色差别来正确识别出目标物；另外，在机器人抓取物体的过程中，可利用语音控制来精细调整目标物的定位；S3：分割定位目标物，在借助手势及语音实现目标物的定位之前，得先获取物体的相关数据并借此分割出各个物体，Kinect能够获得其面前所有物体的三维彩色点云信息，不过所获得的信息中有无用的，可先通过手势指向去除无关信息，以减少数据处理量；S4：路径 规划，通过全局实时路径规划，机器智能的分析周围运动物体的路径信息，并从全局的角度进行实时规划，实现全局避障、实时避障。