[发明专利]一种基于RGB-D图像的人机物交互机械臂示教系统

权利要求书

1.一种基于RGB-D图像的人机物交互机械臂示教系统，其特征在于，该示教系统首先通过RGB-D摄像头和动作分层思想搭建机械臂示教平台，通过对人类行为习惯研究，进行机械臂高层动作规划；再以RGB-D图像空间作为机械臂示教空间，在高层动作集中选择一个动作，控制机械臂在实际空间中操作对应的物体，多步交互构成示教轨迹；包括构建机械臂示教平台和RGB-D图像交互示教两部分，具体为：

所述的构建机械臂示教平台步骤如下：

步骤(1):采用Kinect V2相机作为RGB-D摄像头，将Kinect V2相机获取的点云图像和原始的RGB-D图像进行配准，消除两个图像坐标系的偏移；

步骤(2):采用图像识别方法进行物体识别，提取出目标物区域，确定物体的空间位置；基于颜色进行物体识别具体为：首先将RGB图像转化为HSV图像，根据颜色设置H、S、V三个通道阈值，然后对三个通道符合要求的像素点做运算，得到符合颜色要求的区域，根据物体区域确定中心；

步骤(3):对示教物体进行定位；

构建与实际机械臂具有相同属性的机械臂模型，利用获取的物体在RGB图像中的坐标值以及机械臂模型的坐标转换关系将机械臂和物体统一到相同世界坐标系下，实现物体的定位；所述的属性包括杆件几何参数、运动学参数、坐标转换关系、碰撞关系；

首先，根据机械臂模型，计算得到世界坐标系到机械臂基座坐标系，再到机械臂末端执行器坐标系的齐次变换矩阵通过传统的手眼参数标定法进行手眼标定确定RGB-D摄像头到世界坐标系的变换矩阵，即得到机械臂末端执行器到Kinect V2相机坐标系的转换矩阵为Kinect V2相机坐标系到世界坐标系的变换矩阵：

R是旋转矩阵，T是平移矩阵；

其次，假定物体A在RGB图像的像素坐标值为根据点云数据可以确定物体A在Kinect V2相机坐标系下的三维坐标值为两者之间的映射关系为为物体A在世界坐标系下的三维坐标值：

最后，将实际机械臂和物体A统一到相同的世界坐标系下，在RGB图像中选择物体，机械臂就能够直接去操作三维空间中的目标物；

步骤(4):基于MoveIt！进行动作分层规划，对机械臂动作进行分层抽象，将低层次的关节运动组合成更高层的动作单元，将动作单元按照一定顺序组合，构建任务单元；规划内容分为三部分：分别为底层的路径规划，即关节空间的轨迹规划；中间层的动作规划，即通过路径组合实现类人动作；更高层的任务规划，即针对任务进行动作组合；

所述的RGB-D图像交互示教方法步骤如下：

综合RGB-D图像和动作分层规划，将RGB-D图像空间作为机械臂示教空间，控制机械臂在实际三维空间中操作物体，具体为：

步骤(1):采用物体集合{obj₁，obj₂，obj₃…obj_n}表示示教任务中的N个物体，在RGB图像中选择物体obj_i，其像素坐标为(x_i，y_i)；从高层动作集合{a₁，a₂，a₃…a_n}中选择动作a后，记录物体obj_i的状态；

步骤(2):采用D表示示教轨迹的样本集合，一个任务的示教轨迹为d～D；每个时间步选择一个物体obj_t；选择一个动作a_t，单步的示教可以描述为d(t)＝((s_objt，s_r)，a_t)，其中s_objt是物体obj_t的状态，为物体位姿，由像素坐标(x_i，y_i)通过坐标变换得到，s_r是机械臂状态，为机械臂末端执行器位姿和手爪开闭状态；对于任务k一段完整的示教轨迹表示为：

d＝{((s_obj1，s_r1)，a₁)，((s_obj2，s_r2)，a₂)，…((s_objt，s_rt)，a_t)，…，((s_objT，s_rT)，a_T)} (3)。