[发明专利]智能服务机器人手眼协作系统及运行方法

说明书

本发明属于移动机器人和人工智能领域，特别是涉及一种智能服务机器人手眼协作系统及运行方法。该系统包括传感器模块、算法模块和抓取模块，其中传感器模块主要由深度摄像头构成，用于获取待抓取物体的RGB数据和三维点云数据；算法模块可将RGB数据和三维点云数据进行处理，进而获得待抓物体的形状、位姿以及类别，为所述抓取模块提供抓取所需的距离、方向、力度以及角度等数据；抓取模块包括仿人形手掌和仿人形手臂，用于完成抓取动作。本发明提供的智能服务型机器人手眼协作系统及运行方法，利用深度摄像头、多种算法模块和抓取模块的协作，可以精确抓取各种形状、处于各种位置的物体，且对物体进行识别。

技术领域

本发明属于移动机器人和人工智能领域，特别是涉及一种智能服务机器人手眼协作系统及运行方法。

背景技术

随着机器人越来越广泛地被应用在各行各业，机器人技术一直在迅猛发展。机器人的视觉系统是机器人很重要的一部分，在机器人抓取作业中的作用就是识别、定位目标物体，并为机器人提供目标物体的类别以及位置姿态信息，而物体的位置姿态精度非常重要，直接影响机器人抓取的成功率。当前很多机器人仍采用2D视觉，仅能提供平面内物体的位置，无法提供物体的深度及姿态信息，满足不了三维空间的抓取应用要求。其次，当前很多机器人抓取时是用的吸盘或者平面型夹具，没有仿人型手掌灵活。机器人用吸盘抓取物体的种类有限，对于一些很精细的抓取任务并不适宜, 且还需用到真空泵类似设备。再次，很多机器人抓取物体时，没有考虑到物体的三维位置姿态信息，没有判断该物体能否抓得起来，同时也没有对被抓取的物体进行实时识别。对于机器人来说，并不知道抓取到的物体是什么，无法进一步提供更加高级的服务。

发明内容

本发明的目的在于设计一种智能服务机器人手眼协作系统及运行方法。该系统利用深度摄像头获取待抓取物体的深度点云数据，进一步通过算法处理，得到精确的待抓取物体位置姿态信息。同时，通过深度学习算法，对待抓取物体进行实时识别，根据待抓取物体的类别，智能的采用不同的抓取方式。抓取完成后，根据待抓取物体识别结果，可进一步提供更高级功能，例如分类等。

为达到上述目的，本发明是通过下述技术方案实现的：

一种智能服务机器人手眼协作系统，包括传感器模块、算法模块和抓取模块；所述传感器模块主要由深度摄像头构成，用于获取待抓取物体的RGB数据和三维点云数据；所述算法模块可将RGB数据和三维点云数据进行处理，进而获得待抓物体的形状、位姿以及类别，为所述抓取模块提供抓取所需的距离、方向、力度以及角度等数据；所述抓取模块包括仿人形手掌和仿人形手臂，用于完成抓取动作。

所述的一种智能服务机器人手眼协作系统， RGB数据通过深度学习算法分析后用于对物体类别进行实时识别；所述点云数据通过滤波算法分析后得到物体的精确位姿信息和尺寸信息，进而判断能不能抓取该物体。

所述的一种智能服务机器人手眼协作系统，待抓取物体的类别不同时，抓取方式不同，以获得更好的抓取效果；通过获得待抓取物体的位姿信息，调整机器人末端仿人形手掌的朝向，保证待抓取物体无论是斜着还是正着，均能被抓取。

所述的一种智能服务机器人手眼协作系统，三维点云数据还用于调整机器人与待抓取物体的相对位置，当物体在机器人手臂运动空间之外时，驱动机器人使得待抓取物体在机器人手臂的运动范围内。

所述的一种智能服务机器人手眼协作系统，所述深度摄像头安装在机器人的脖子下方正中间，在该位置，深度摄像头可同时看到机器人左右两边的图像，进而为判断左手抓取还是右手去抓取提供参考。

所述的一种智能服务机器人手眼协作系统，通过结构计算，所述深度摄像头的图像坐标和机器人坐标可以相互转换，省掉机器人手臂坐标与深度摄像头坐标之间的标定所需的一系列步骤。

所述的一种智能服务机器人手眼协作系统，算法模块运用运动学正逆解算法，对机器人仿人形手臂进行建模，由待抓取物体末端的笛卡尔坐标得到仿人形手臂的各个关节的关节角度。