[发明专利]一种基于RGB-D图像的人机物交互机械臂示教系统

说明书

本发明属于机器人技术与应用领域，涉及一种基于RGB‑D图像的人机物交互机械臂示教系统。该示教系统基于RGB‑D图像进行物体识别，通过ROS系统中的tf树和Kinect V2点云信息，将物体和机械臂统一到相同坐标下实现物体定位。根据人类行为习惯，基于MoveIt！进行了机械臂高层动作规划。示教过程中，通过在操作界面中选择物体，可以获取物体的类别和位姿，然后从高层动作集中选择一个动作，控制机械臂在实际空间中操作对应的物体，多步交互就构成了示教轨迹。本发明的示教系统可以实现面向任务级的人机物智能交互，替代实际机器人系统进行示教学习，具有效率高、便捷、安全等特点。

技术领域

本发明属于机器人技术与应用领域，涉及一种基于RGB-D图像的人机物交互机械臂示教系统。

背景技术

在机器学习过程中人-机交互通常是一种有效的方式，在机器人获取技能上与交互相关的工作主要有虚拟现实(Virtual Reality，VR)示教和离线编程。上述两种方法都需要提前建立三维场景模型，实时感知和适应变化环境的性能较差。RGB-D摄像头可以很好的解决这个问题，它能够直接获取三维空间的深度信息，并以点云的形式呈现，常被用于观察和捕捉示教者的行为序列，然后通过学习适配到机器人关节，是机器人获取环境信息的主要途径。

已有的示教方法面向关节动作示教，智能层次较低，适用于工业生产线上特定的、简单的任务。当示教日常生活技能时，工作量较大。且关节动作数据维度较高，学习模型训练时间较长，易造成“维数灾难”现象。目前，对于直接将RGB-D图像作为示教平台的研究还较少。基于RGB-D图像交互的示教系统立足于摄像头视角，通过观察示教者用光标在图像中与物体交互，控制机器人操作实际环境中的物体，学习特定的状态-动作序列，实现一种简单、直观的机器人示教方法。

发明内容

针对现有技术存在的问题，本发明提出一种基于RGB-D图像的人机物交互机械臂示教系统。本发明的目的是将RGB-D图像作为示教平台构建一种基于RGB-D图像的人机物交互的机械臂示教系统(RGB-D image interaction demonstration，RGBD-ID)。通过对动作设置使用分层思想，纬度较高的低层关节动作通过组合构建出数量更少的机器人动作，通过观察示教者在RGB图像中与物体交互，控制机器人在实际环境中运动，学习特定的状态-动作序列，实现一种简单、直观的机器人示教方法。

为了达到上述目的，本发明采用的技术方案为：

通过Kinect摄像头采集视觉图像信息进行物体识别。通过坐标转换关系和KinectV2图像信息，将物体和机械臂统一到同一坐标系下实现物体定位。通过对人类行为习惯研究，进行机械臂高层动作规划。将RGB-D图像空间作为机器人示教空间，在高层动作集中选择一个动作，控制机械臂在实际空间中操作对应的物体，多步交互构成示教轨迹。

一种面向任务、方便的基于RGB-D图像的人机物交互机械臂示教系统，该系统首先通过RGB-D摄像头和动作分层思想搭建机器人示教平台，再以RGB-D图像空间作为机器人示教空间，实现一种面向任务、方便的机械臂示教，包括两部分，具体为：

所述的构建机器人示教平台步骤如下：

步骤(1)：将Kinect V2获取的点云图像和原始的RGB-D图像进行配准，消除两个图像坐标系的偏移，具体为：获取摄像头图像数据，根据RGB图像和点云图像进行RGB摄像头、深度摄像头和两者相对位姿的标定，消除两个图像坐标系的偏移，使彩色图像像素坐标系下每个点的三维坐标值通过点云数据确定。

步骤(2)：采用图像识别方法进行物体识别，提取出目标物区域，确定物体的空间位置。具体方法包括有基于颜色识别，sift算法，orb算法，深度学习(或卷积神经网络)。

所述的基于颜色进行物体识别具体步骤：首先将RGB图像转化为HSV图像，根据颜色设置H、S、V三个通道阈值，然后对三个通道符合要求的像素点做运算，得到符合颜色要求的区域，根据物体区域确定中心。