[发明专利]一种结合自监督学习的机械臂抓取规划方法和系统

说明书

本发明公开了一种结合自监督学习的机械臂抓取规划方法和系统，包括：利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，为抓取姿态生成类别标签；将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型；利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划。本发明引入自监督学习方式构建训练数据，实现多目标堆叠场景中未知物体的鲁棒抓取，提高机械臂的抓取成功率。

技术领域

本发明属于机器人应用技术领域，更具体地，涉及一种结合自监督学习的机械臂抓取规划方法和系统。

背景技术

随着工业自动化进程的推进，机器人自动化技术随之加速发展，工业机器人现已广泛应用于工业生产制造过程中。当前，机器人正逐步由传统工业生产环境走向家庭服务、仓储物流等非结构化环境，智能化成为了机器人技术新的发展方向。机器人的智能化要求其能够感知环境并与环境中的物体进行交互，其中抓取是机器人与物体进行交互的一种典型方式，机器人的智能化抓取对提升生产工作效率和提升人机交互体验具有重要意义。

现有研究表明，深度学习技术的确能够在一定程度上帮助我们解决机器人的视觉抓取问题，然而抓取策略、算法模型及数据质量等诸多因素，均会对机器人的抓取效率及成功率产生不同程度的影响。因而深入研究基于视觉的机器人抓取规划方法，设计合理的抓取策略、鲁棒的算法模型及高效的数据采集和处理方法，对于推进非结构化环境中机器人抓取的智能化进程具有重要意义。

由此可见，现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种结合自监督学习的机械臂抓取规划方法和系统，由此解决现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种结合自监督学习的机械臂抓取规划方法，包括：

利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；

所述抓取质量分类模型通过如下步骤训练得到：

利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；

将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。

进一步地，所述物体完整点云通过如下方式得到：

获取多个视角下待抓取物体的深度图像，建立一个包围物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。

进一步地，所述融合的具体实现方式为：

将映射点反投影得到深度图像中的对应像素点，将像素点的深度值与映射点到相机坐标系原点的距离之差作为包围盒的点的符号距离函数值sdf(p)，将相机的投射光线与包围盒的表面法向量的夹角除以映射点到相机坐标系原点的距离，得到包围盒的点的权重w(p)；

设置截断距离u，利用截断距离与sdf(p)之比构建截断符号距离函数tsdf(p)，在连续的多个视角下，为当前视角的截断符号距离函数tsdf(p)赋予权重w(p)，然后与前一视角的融合结果再次融合，得到融合后各点的截断符号距离函数，将融合后各点的截断符号距离函数小于距离阈值的融合点作为物体完整点云。