[发明专利]目标提取方法、系统、机器人及存储介质

权利要求书

1.一种目标提取方法，其特征在于，包括以下步骤：

获取目标场景中待提取目标的图像数据；所述图像数据包括深度图片；

对所述图像数据进行特征提取，得到图像特征信息，所述图像特征信息包括目标掩码；

根据所述目标掩码，将所述深度图片转化为点云空间；

将所述目标掩码的像素边缘进行直线化处理，得到直线化轮廓；

根据所述直线化轮廓获取参考姿态参数，所述参考姿态参数为机器人提取所述待提取目标的部分参数；

根据所述参考姿态参数，在所述点云空间提取所述待提取目标。

2.根据权利要求1所述的目标提取方法，其特征在于，所述参考姿态参数包括抓取中心点、抓取方向和初始抓取宽度，所述根据所述参考姿态参数，所述点云空间提取所述待提取目标，包括：

根据所述参考姿态参数，获取所述参考姿态参数与所述点云空间的映射关系；

根据所述映射关系，获取目标姿态参数，所述目标姿态参数包括所述参考姿态参数、抓取宽度和抓取深度，所述目标姿态参数为机器人提取所述待提取目标的全部参数；

向机器人的执行端传输所述目标姿态参数，并控制所述执行端提取所述待提取目标。

3.根据权利要求1所述的目标提取方法，其特征在于，所述图像数据还包括RGB图片或灰度图片，所述对所述图像数据进行特征提取，得到图像特征信息，所述图像特征信息包括目标掩码，包括：

对所述图像数据进行特征提取得到第一特征图；其中，所述第一特征图包括第一特征和第二特征，所述第一特征为所述RGB图片或所述灰度图片的特征，所述第二特征为所述深度图片的特征；

利用局部注意力机制对所述第一特征图的第一特征进行处理，得到第二特征图；

利用局部注意力机制对所述第一特征图的第二特征进行处理，得到第三特征图；

将所述第二特征图和第三特征图进行融合得到第四特征图；

根据所述第四特征图，获取目标场景中的物体类别和抓取置信度；

根据所述物体类别，获取目标掩码；

根据所述抓取置信度和所述目标掩码，获取所述待提取目标的可抓取掩码。

4.根据权利要求3所述的目标提取方法，其特征在于，所述利用局部注意力机制对所述第一特征图的第一特征进行处理，得到第二特征图，包括：

获取目标场景的第一整体特征图，并在所述第一整体特征图上分别沿高度方向以第一步进长度、沿宽度方向以第二步进长度得到第一子特征图集合；

分别获取所述第一子特征图集合中每个第一子特征图的一维局部通道注意力特征图和二维局部空间注意力特征图；

根据预设的第一系数和第二系数，将每个所述第一子特征图进行转换得到多个第二子特征图，其中，所述第一系数为所述第一子特征图的一维局部通道注意力特征图的系数，所述第二系数为所述第一子特征图的二维局部空间注意力特征图的系数；

将多个所述第二子特征图利用拼接函数进行拼接，得到第二特征图。

5.根据权利要求1所述的目标提取方法，其特征在于，所述将所述目标掩码的像素边缘进行直线化处理，得到直线化轮廓，包括：

根据所述目标掩码，得到可抓取掩码的第一矩阵；

根据所述第一矩阵的梯度变化，获所述可抓取掩码的边缘像素坐标构成的第二矩阵；

将所述第二矩阵的坐标按照顺时针或者逆时针进行排序，获取第三矩阵；

以所述第三矩阵中的第一坐标为起点，获取第三矩阵中距离所述第一坐标的距离大于或等于预设宽度的第一坐标集合；

以所述第一坐标集合中的第二坐标为起点，获取所述第一坐标集合中距离所述第二坐标的距离大于或等于所述预设宽度的第二坐标集合；

若所述第二坐标集合中的任意坐标之间的距离均大于或等于所述预设宽度，则所述第二坐标集合为所述待提取目标的直线化轮廓的坐标。