[发明专利]基于深度学习的机器人连接件六自由度位姿估计系统

权利要求书

1.基于深度学习的机器人连接件六自由度位姿估计系统，其特征在于，包括如下步骤：

步骤1、利用虚拟现实技术制作数据集，包括如下步骤：

步骤11、采用虚幻引擎4为基础，导入物体模型全自动生成6D位姿估计的虚拟数据集从而对数量较少的现实数据进行扩展，形成混合数据集；

步骤12、对单目视觉机器人连接件分拣场景，采用随机掩模局部处理方法对数据集进行改进，优化网络在处理物体遮挡情况时的准确度，通过实验比较相同网络在混合数据集中训练结果，在物体6D位姿检测中常用的评价标准是平均模型点的3D距离，将估计位姿下的3D模型点和真值位姿下的3D模型点计算平均距离偏差，如果偏差小于物体直径的10％则为位姿估计正确，即阈值为0.1m，其评价公式如下：

式中，R_est为预测旋转矩阵，T_est为预测的平移矩阵，R为真值的旋转矩阵，T为真值的平移矩阵，P_i为物体中的3D点；

步骤13、将阈值设定为0.1m，当ADD值小于该阈值时认为姿态估计正确，若ADD值大于该阈值则认为检测失败，将每类物体各个阈值下的ADD值进行计算，然后计算在各阈值下的ADD通过率如下式所示：

其中，TP为正确检出位姿，FN即检测错位位姿；

运行环境为Python环境，通过混合数据集训练60个epoch后的网络预测效果好于现实数据集；

步骤2、改进DOPE算法对连接件进行6D位姿估计，包括如下步骤：

步骤21、采用了VGG19的前10个卷积层进行特征提取，后面拼接两个卷积层将特征维度控制在128，使用ImageNet的预训练模型为初始参数，相比于其他算法使用语义分割后的感兴趣区域进行特征提取，DOPE算法使用完整图片进行训练，并添加前景和背景信息；

步骤22、DOPE算法的位姿估计思路是不对物体的旋转矩阵R和平移矩阵T进行直接预测，而是估计物体3D最小包围盒8个顶点在2D图像中的投影点坐标加物体形心在2D图像中的投影坐标，将原本的6D位姿估计问题转换为9个关键点检测问题,通过这种转换可以仅通过RGB图像完成对物体位姿的估计而不需要输入点云数据，在位姿估计模型中，一是对于物体3D最小包围框8个顶点以及1个物体形心位置共9个点的预测，该预测结果为置信图；二是对于最小包围盒8个顶点指向物体质心位置的矢量预测，该预测结果为矢量场；在置信图中数据维度为batchsize*9*50*50,其中9代表顶点数，而50*50代表置信图大小，每个顶点分别存储在一个50*50大小的图像中,其中每个像素值代表顶点在该处的概率大小，将置信图通过上述采样与图像对齐，置信图中每个像素存储的像素值为0≤x≤1，数值含义为存在顶点的概率值，此放大为0≤x≤255，置信图的预测过程可用公式表示：

{P₁,P₂,....,P₉}＝f(F,φ)                 (3)

式中，{P₁,P₂....,P₉}为预测出的顶点的位置，f为置信网络预测图，F为输入特征图，φ为置信图预测网络参数；

步骤3、搭建机器人连接件位姿估计抓取平台，将算法作为一个节点在ROS上运行，在进行抓取工作前，需进行工作台的标定和工具的标定，之后进行手眼标定，在重复进行抓取实验中，通过网络估计处待抓取零件位姿，根据转换矩阵计算，将相机坐标系下位姿转换成机械臂坐标系下位姿，将结果输入示教器中进行自动路径规划对零件进行抓取，成功抓取零件则为通过。