[发明专利]一种基于ROS的非合作目标抓取控制方法

权利要求书

1.一种基于ROS的非合作目标抓取控制方法，其特征在于，包括以下步骤：

S1、利用深度相机和位姿数据集制作软件采集、制作非合作目标的位姿数据集，并且利用深度学习网络对位姿数据集进行预训练，得到权重数据；

S2、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据构建运动场景，包括构建障碍物地图和规划场景，并根据RGBD图像数据实时更新运动场景，为轨迹规划提供碰撞检测和约束检测；

S3、利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计，将RGBD图像数据送入深度学习网络，结合步骤S1中训练过的数据集和权重数据处理深度相机采集的RGBD图像数据，以得到所要捕获的非合作目标的位姿数据，所述位姿数据即非合作目标的位置数据和姿态数据；

S4、把步骤S3中得到的所要捕获的非合作目标的位置数据和姿态数据送入运动场景，剔除障碍物地图中非合作目标的障碍物标记，更新规划场景，进行轨迹规划，以得到机械臂所要经过的初始路径点，把初始路径点送入轨迹优化功能进行轨迹优化，通过插值的方式拟合出一条平滑的轨迹曲线；

S5、根据步骤S4中得到的优化后的轨迹，控制机械臂末端执行器依次通过这些初始路径点，当机械臂末端执行器通过最后一个初始路径点后，闭合夹爪，实现对空间非合作目标的捕获。

2.根据权利要求1所述的一种基于ROS的非合作目标抓取控制方法，其特征在于：所述步骤S1中非合作目标的位姿数据集的制作和预训练过程具体为使用深度相机采集非合作目标对齐后的RGBD图像数据，送入ObjectDatasetTools软件裁剪出非合作目标的点云数据并作为标准点云数据，围绕非合作目标放置好标记二维码后，稳定且缓慢地移动深度相机录制位姿数据集，并将制作完成的位姿数据集送入深度学习网络进行预训练，得到权重数据。

3.根据权利要求1所述的一种基于ROS的非合作目标抓取控制方法，其特征在于：步骤S2中利用深度相机采集非合作目标所在区域对齐的RGBD图像数据构建运动场景具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将Depth图像数据送入八叉树地图以八叉树的数据形式构建出相机视场内的障碍物分布地图，形成立体的障碍物地图，非合作目标被标记为障碍物，使用碰撞检测算法为轨迹规划提供碰撞检测和约束检测，包括自我碰撞检测、环境碰撞检测，同步构建规划场景，为轨迹规划提供运动学约束检测。

4.根据权利要求1所述的一种基于ROS的非合作目标抓取控制方法，其特征在于：步骤S3中利用深度相机采集非合作目标所在区域对齐的RGBD图像数据进行位姿估计具体为利用深度相机采集空间非合作目标所在区域对齐的RGBD图像数据，将RGBD图像数据送入加载了预训练数据集和权重数据的深度学习网络，将RGB图像数据送入卷积神经网络用于提取图像中每个像素的表面特征，将Depth图像数据送入点云神经网络用于提取每个像素的几何特征，将提取到的每个像素的表面特征与几何特征送入像素级的异构融合网络融合两种特征，融合特征后的数据分别送入3D关键点检测模块、实例语义分割模块，然后使用聚类算法和霍夫投票算法实现非合作目标上的点为非合作目标上的关键点投票，最后使用最小二乘法拟合关键点，估计出非合作目标的姿态数据，最后利用ROS系统消息发布机制广播出去非合作目标的位姿信息。

5.根据权利要求4所述的一种基于ROS的非合作目标抓取控制方法，其特征在于：

所述3D关键点检测模块使用聚类算法选出投票点并将聚类后集群点的中心作为投票的关键点，使用最远采样点算法和霍夫投票算法选出3D关键点；

所述实例语义分割模块包括语义分割模块和中心投票模块两部分，语义分割模块是把融合特征后的像素数据标记语义标签，实现语义分割不同的物体并根据加载的预训练数据集和权重数据找到非合作目标，中心投票模块是对融合特征后的像素进行投票，预测出不同物体的中心点，其中包括非合作目标的中心点即为位置数据。