[发明专利]基于目标6D位姿估计的机器人自主抓取仿真系统及方法

权利要求书

1.一种基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，包括：

虚拟仿真交互平台，用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型，并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务；

基于目标6D位姿估计的机器人自主抓取子系统，用于根据RGB-D深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵，根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准；根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计，得到目标位姿信息；根据目标位姿信息生成机器人抓取的过程轨迹规划路径，并传输至虚拟仿真交互平台；

所述基于目标6D位姿估计的机器人自主抓取子系统包括：

目标物6D位姿估计模块，用于对接收的配准后的彩色图像信息进行图像分割以获取表示场景中对象的掩码，从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征，将颜色特征和几何特征进行对应像素位置的逐像素特征融合，估计场景中每个对象的位姿信息，并对估计的位姿信息进行修正，将修正后的位姿信息传输至机器人规划及抓取模块；

其中从图像分割后的彩色图像信息及配准后的深度图像信息中分别提取颜色特征和几何特征的方法为：

采用全卷积神经网络对图像分割后的彩色图像信息进行特征提取，得到颜色特征；

将配准后的深度图像信息点云化表示，并进行点云的关键点提取，将点云的形状、角度、面积特征采用形状函数集合全局描述符表示，得到几何特征；

所述基于目标6D位姿估计的机器人自主抓取子系统包括：

机器人规划及抓取模块，用于根据采用手眼标定方法获取的相机坐标系和机器人基坐标系的相对位置关系，将接收的位姿信息转换到机器人基坐标系，并根据机器人运动学模型生成机器人抓取的过程轨迹规划路径；

所述目标物6D位姿估计模块对估计的位姿信息进行修正的方法为：

利用姿态估计细化网络对前一次迭代估计的姿态信息进行姿态的残差估计，并更新姿态信息；

利用特征修正网络对更新后的姿态信息进行特征修正，将几何特征通过点云方法进行姿态转换，得到几何特征嵌入；将颜色特征首先通过点云投影到二维平面并判断是否正确投影；如果正确投影，则进行颜色特征到投影区域的图像修正，修正过程包括形态闭合和模糊周围区域，最后得到颜色特征嵌入；如果没有正确投影，则重用前一次迭代的颜色特征嵌入；

将几何特征嵌入和颜色特征嵌入进行逐像素的融合，并采用深度学习网络预测位姿信息，进行下一次迭代。

2.根据权利要求1所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述基于目标6D位姿估计的机器人自主抓取子系统包括：

视觉传感器参数模块，用于对RGB-D深度传感器的彩色相机和深度相机进行离线标定，获取彩色相机和深度相机的内部参数和畸变系数、及图像配准矩阵，将彩色相机和深度相机的畸变系数及图像配准矩阵传输至环境信息获取图像模块，将彩色相机和深度相机的内部参数传输至目标物6D位姿估计模块。

3.根据权利要求2所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述基于目标6D位姿估计的机器人自主抓取子系统包括：

环境信息获取图像模块，用于利用建立的驱动程序采用ROS话题通信方式将数据发布到ROS系统以获取图像数据流进行实时的数据传输，并通过订阅话题实时获取彩色图像信息和深度图像信息；根据接收的彩色相机和深度相机的畸变系数及图像配准矩阵将实时获取的彩色图像信息和深度图像信息进行配准，并将配准后的彩色图像信息和深度图像信息传输至目标物6D位姿估计模块。

4.根据权利要求3所述的基于目标6D位姿估计的机器人自主抓取仿真系统，其特征在于，所述深度学习网络的训练方法为：

采用基于球面的随机快速采点方法进行训练数据集自动采集；

对采集的训练数据进行自动快速标注；

按照设定的数据集训练格式生成可训练的仿真数据集；

利用生成的仿真数据集离线训练深度学习网络的权重参数。