[发明专利]基于目标6D位姿估计的机器人自主抓取仿真系统及方法

说明书

本发明公开了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法，该系统包括虚拟仿真交互平台和基于目标6D位姿估计的机器人自主抓取子系统。其中基于目标6D位姿估计的机器人自主抓取子系统包括视觉传感器参数模块、环境信息获取图像模块、目标物6D位姿估计模块和机器人规划及抓取模块。本发明利用ROS‑Gazebo实现机器人视觉辅助抓取仿真系统的搭建，可直接在仿真环境进行全仿真模拟实验，相机与机器人的信息交互更加便捷化；并且对目标位姿估计采用深度学习思想实现对RGB‑D数据的特征提取及逐像素特征融合，再进行迭代细化得出精确位姿信息；结合深度学习与RGB‑D数据传输，有效提高对目标位姿估计的速度和精度。

技术领域

本发明涉及机器人仿真技术领域，具体涉及一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法。

背景技术

机器人仿真技术是作业前对机器人的测试和验证的重要手段，如何基于含物理引擎的三维仿真软件设计模拟现实复杂作业任务和尽可能还原出现实场景的仿真测试平台是机器人仿真技术的研究要点。由于直接在实物机器人上进行算法的训练时间成本大，训练过程复杂，硬件损耗大。目前的研究是利用各优秀的物理仿真平台，建立模拟现实的仿真环境和机器人系统模型，在仿真环境进行训练，测试通过后在迁移到实物机器人上。通过机器人仿真系统，可以无消耗、安全的测试视觉算法和机器人的运动控制。但目前的机器人仿真系统主要是针对机器人的仿真，对于机械手抓和深度传感器的仿真应用较少，且对于支持的视觉测试算法没有什么扩展性和通用性，其他的仿真系统甚至无法与真机进行算法测试的对接，这样就失去了仿真的最终意义。

基于二维视觉图像的机器人工作平面的单目标抓取取得了丰富的研究成果。但对于现实复杂环境中的三维目标物体，仅使用二维图像信息来表征目标信息存在信息损失问题，难以实现在非结构化环境中准确估计出6D位姿信息，对于机器人高精度抓取任务存在限制。6D视觉比二维平面视觉多一个维度，从而提供的有效环境信息更加丰富，6D位姿估计可得到目标物的位姿信息，对于机器人的精细化任务至关重要，提高机器人的视觉感知能力对于机器人在复杂非结构化环境中进行高精度抓取任务是一项重要工作。

机器人视觉辅助抓取任务是指利用相机采集待抓取目标图像数据，经过目标检测、位姿估计等图像处理后得到抓取位姿信息，生成抓取策略并控制机器人进行抓取。目前，传统的目标检测与位姿估计方法都是基于一些特定的算法，包括边缘检测、角点检测、点云分割等，但是基于传统算法的目标检测与位姿估计算法存在的主要技术问题是检测繁琐，处理过程时间长，消耗资源多等问题，存在局限性。近年来，随着计算机技术的发展，深度学习方法优势逐渐显露，基于深度学习的机器人自主抓取是该领域的一个研究热点，能够实现在复杂环境下的自主抓取任务。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于目标6D位姿估计的机器人自主抓取仿真系统及方法，以解决现有技术中机器人仿真方式的对象单一、扩展性和通用性较差，目标位姿估计检测繁琐，处理过程时间长，消耗资源多等问题。

为了达到上述发明目的，本发明采用的技术方案为：

第一方面，本发明提出了一种基于目标6D位姿估计的机器人自主抓取仿真系统，包括：

虚拟仿真交互平台，用于根据机器人自主抓取任务需求加载机器人、机械手抓、RGB-D深度传感器的三维模型，并根据接收的机器人抓取的过程轨迹规划路径控制机器人执行抓取任务；

基于目标6D位姿估计的机器人自主抓取子系统，用于根据RGB-D深度传感器采集的图像信息获取相机的内部参数和畸变系数、及图像配准矩阵，根据相机的畸变系数和图像配准矩阵对实时采集的图像信息进行配准；根据相机的内部参数对配准后的图像信息进行目标检测和6D位姿信息估计，得到目标位姿信息；根据目标位姿信息生成机器人抓取的过程轨迹规划路径，并传输至虚拟仿真交互平台。

可选地，所述基于目标6D位姿估计的机器人自主抓取子系统包括：