[发明专利]目标提取方法、系统、机器人及存储介质

说明书

本申请公开了一种目标提取方法、系统、机器人及存储介质，方法包括：获取目标场景中待提取目标的图像数据；图像数据包括深度图片；对图像数据进行特征提取，得到图像特征信息，图像特征信息包括目标掩码；根据目标掩码，将深度图片转化为点云空间；将目标掩码的像素边缘进行直线化处理，得到直线化轮廓；根据直线化轮廓获取参考姿态参数；根据参考姿态参数，在点云空间提取待提取目标。本申请提供的技术方案不仅提高了提取目标的准确率，还简化了流程，提高提取效率。

技术领域

本申请涉及机器人控制技术领域，特别涉及一种目标提取方法、系统、机器 人及存储介质。

背景技术

随着人工智能和机器人技术的快速发展，机器人抓取技术得到广泛应用。在 工业领域，可以帮助工人完成繁重的拣放任务，例如物料分拣、上下料和智能零 售等；在服务行业，可以帮助残疾人或老年人完成日常抓取任务。

目前，机器人主要是利用简化的机械手以及简化的抓取模型下进行抓取动 作。现有简化的机械手一般为二指手，而二指手获取抓取姿态包括间接获取抓取 姿态和直接获取抓取姿态两种技术方案。

间接获取抓取姿态：从物体坐标系到相机坐标系的刚性转换，包括3D旋转 矩阵和3D平移矩阵，在确定物体坐标系在相机坐标系的位姿后，通过计算出物 体在相机空间的分布，计算可抓取的位置，最终设置为二指手的6D位姿进行抓 取。这种方案只有在物体的3D模型及该物体是刚性的情况下，才能得出准确的 6D抓取位姿，而对于一些非刚性物体则无法准确获取抓取位姿。

直接获取抓取姿态：通过人工观察二维的图片，并在二维的图片中标注数据， 然后利用这些数据训练机器人进行深度学习，直接从RGBD或RGB中获取二指手 的6D抓取位姿。由于该方案是而机器人抓取行为面对的是存在多个混乱堆叠的 物体的复杂环境，对这样的图片标注数据是一个极为困难和复杂的工作，工作效 率较低。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一，为此，本申请提出一 种目标提取方法、系统、机器人及存储介质，不仅不需要进行复杂的目标姿态标 注，简化获取目标姿态的流程，还能够有效提高提取待提取目标的准确率，提高 提取待提取目标的效率。

本申请的第一方面，提供了一种目标提取方法，包括：获取目标场景中待提 取目标的图像数据；图像数据包括深度图片；对图像数据进行特征提取，得到图 像特征信息，图像特征信息包括目标掩码；根据目标掩码，将深度图片转化为点 云空间；将目标掩码的像素边缘进行直线化处理，得到直线化轮廓；根据直线化 轮廓获取参考姿态参数，参考姿态参数为机器人提取待提取目标的部分参数；根 据参考姿态参数，在点云空间提取待提取目标。

根据本申请第一方面实施例的目标提取方法，至少具有如下有益效果：通过 将目标掩码的像素边缘进行直线化处理，可以得到直线化轮廓，而线化轮廓可以 简化待提取目标，由直线化轮廓可以得到准确的目标姿态参数，从而提高提取待 提取目标的准确率。另外，获取目标姿态的整个过程不需要进行复杂的位姿标注， 简化了获取目标姿态的流程，提高了提取效率。

根据本申请的一些实施例，参考姿态参数包括抓取中心点、抓取方向和初始 抓取宽度，根据参考姿态参数，在点云空间提取待提取目标，包括：根据参考姿 态参数，获取参考姿态参数与点云空间的映射关系；根据映射关系，获取目标姿 态参数，目标姿态参数包括参考姿态参数、抓取宽度和抓取深度，目标姿态参数 为机器人提取待提取目标的全部参数；向机器人的执行端传输目标姿态参数，并 控制执行端抓取待提取目标。通过将深度图片转化为点云空间，可以得到待提取 目标的三维空间的位置。而将参考姿态参数与点云空间形成映射关系，可以得到 目标姿态参数，再将目标姿态参数信息传递给机器人的执行端，使得执行端可以 精确得抓取到待提取目标。