[发明专利]基于深度学习的机器人连接件六自由度位姿估计系统

说明书

本发明涉及深度学习与视觉机器人技术领域，具体涉及基于深度学习的机器人连接件六自由度位姿估计系统，包括如下步骤：利用虚拟现实技术制作数据集；改进DOPE算法对连接件进行6D位姿估计；搭建机器人连接件位姿估计抓取平台；本发明利用虚拟现实技术对数据集做了改进，使数据集背景信息多样化，即使换到新环境也不会影响精度；对于特定的工业场景制作特定的数据集，利用虚拟现实技术进行制作，极大地减轻了人工标注物体的工作量；同时在单目视觉机器人连接件分拣场景中，对遮挡问题利用随机掩模局部处理方法对数据集进行了改进，提高了网络在处理物体遮挡时的准确度。

技术领域

本发明涉及深度学习与视觉机器人技术领域，具体涉及基于深度学习的机器人连接件六自由度位姿估计系统。

背景技术

近些年面对制造业升级的挑战，我国相继提出一系列智能制造战略。根据中国发布的工业4.0白皮书，提出以智能制造为主攻方向打造具有国际竞争力的中国制造业。在智能制造领域中，机器视觉技术、人工智能技术、虚拟现实技术、机器人技术无疑是智能制造的重点内容与核心内容，而融合了这几点技术的机器人自动识别抓取、和柔性装配技术成为了近年来研究的热门方向。

六自由度位姿估计简称6D位姿估计，即找到图像中物体位置以及计算物体坐标系与相机坐标系之间的旋转平移关系，6D位姿估计的意义在于能够获得物体的精确姿态，支撑对于物体的精细操作，主要应用于机器人抓取领域和增强现实领域。

基于图像的6D目标姿态估计在虚拟现实和机器人操作等应用中发挥着越来越重要的角色。在工业制造业的实际场景中，机器人抓取工作的核心问题在于准确识别物体的6D姿态，传统算法的做法需要手工定义三维特征描述符，将现场扫描的待抓取物体的点云与已知的待抓取物体模型点云进行三维模板匹配，在配准后进行凸优化减小误差，但这种方法耗时长难以实时计算，而依靠点云输入的深度学习算法则需要排除背景干扰在网络中加入语义分割部分，这种方法虽然在速度上有了明显提升但依然无法满足实时性要求。于是如何通过输入单目RGB图像，根据先验物体模型依据纹理特征还原物体6D姿态信息成为当前的研究趋势，一旦得到物体的6D姿态信息，就可以根据物体与相机的坐标转换关系以及相机与机械臂的坐标转换关系得到物体相对机械臂的位置姿态，然后机器人便可以根据这些信息做到抓取装配等一系列动作。因此，研究一种精确实时的6D姿态估计算法成为工业应用的迫切需要。

随着RGB-D深度相机的兴起，在机械臂抓取任务上,用传感器获取的深度信息与RGB结合的方法也开始兴起，传统方法主要是构建目标物体的局部特征描述子SIFT、HOG、ORB等，提取图像中的特征点，构建特征描述符进行特征匹配，然后用PnP算法计算物体的6D位姿，对于纹理丰富、背景简单、特征明显的物体通常具有良好的效果，而对于弱纹理、特征不明显的物体则使用模板匹配的方法，例如Sida Peng、YuanLiu等人在2018年发表的PVNet。Bugra Tekin、Sudipta N.Sinha等人提出了YOLO-6D算法，该方法先预测物体3D最小包围盒在2D图片上的投影，然后通过PnP算法计算出目标的6D姿态,相较于PoseCNN、改进的BB8利用微调对最后结果修正的做法，Bugra Tekin采用端到端的方式去掉了微调部分。Jonathan Tremblay，Yu Xiang等人提出了一种基于关键点检测的物体六自由度位姿估计算法框架，即DOPE(deep object pose estimation)算法框架,该算法框架创新性的提出从单个RGB图像中推断已知对象的3D姿态，而无需后续对齐。

但是在实际工程中，原DOPE算法存在识别速度过慢的问题，导致对物体位姿估计的速度慢于送料车或者传送带的送料速度。同时在工业环境下，采集到的图像中的零件可能存在较大的尺度变化，从而降低位姿估计的准确度。此外，原DOPE网络在对物体位姿估计时仅使用RGB图像，对于遮挡的零件难以准确识别，造成机器人抓取系统的准确性和鲁棒性较低。