[发明专利]工件识别和位姿检测方法、系统及机械臂的抓取控制方法

权利要求书

1.一种工件识别和位姿检测方法，其特征在于包括：

S1，利用2D相机在待识别场景中获取所述2D图像，利用3D相机在所述待识别场景中获取所述3D点云图像；所述待识别场景包括工件无序堆叠场景；

S2，将所述2D图像导入目标分割模型中进行识别，获取所述目标工件的区域位置；将所述区域位置映射到3D点云图像中的对应区域，并对所述3D点云图像中的目标工件所在区域进行实例分割，获得所述目标工件对应的点云区域；

S3，基于深度学习算法，将所述点云区域导入位姿检测模型中进行所述目标工件的位姿检测，并获取所述目标工件的位姿信息；

所述位姿检测模型的训练方法包括：

提供3D训练数据集，所述3D训练数据集至少包括3D训练图像及其对应的工件位姿标签和可视化程度标签；

构建位姿检测初始模型，并基于所述3D训练数据集，对所述位姿检测初始模型进行训练，获得所述位姿检测模型；

其中，所述3D训练数据集由仿真数据集生成系统仿真生成；

所述仿真生成具体包括：

构建仿真场景，并设定所述仿真场景中存在n个虚拟工件；

基于域随机化方法，在所述仿真场景的工作区域内将i个虚拟工件随机从选定位置掉落，并对不同的虚拟工件赋予不同的颜色信息；

基于仿真视觉传感器采集并保存场景中的深度图像和rgb图像；

记录并保存所述仿真场景中每个虚拟工件掉落的位姿信息，作为所述工件位姿标签；

基于所述深度图像和rgb图像，对每个虚拟工件进行可视化程度分析，并记录可视化程度数据作为所述可视化程度标签，其中所述视化程度数据v∈[0,1]，该参数反映了所述虚拟工件的遮挡程度，v=0时完全不可见，v=1时完全无遮挡；

当迭代至整数i不小于n时，停止虚拟工件掉落，基于所述工件位姿标签和可视化程度标签生成所述3D训练数据集。

2.根据权利要求1所述的工件识别和位姿检测方法，其特征在于，所述目标分割模型的训练方法包括：

提供2D训练数据集，所述2D训练数据集包括多个用于训练的2D图像及其对应的标记信息，所述标记信息至少指示所述2D图像中的工件的轮廓封闭区域；

构建目标分割初始模型，并基于所述2D训练数据集，对所述目标分割初始模型进行训练，获得所述目标分割模型。

3.根据权利要求1所述的工件识别和位姿检测方法，其特征在于，所述仿真数据集生成系统包括：

图像获取装置，用于获取仿真场景中虚拟工件的3D训练图像；

区域限制装置，用于根据所述3D训练图像获取视野大小，对虚拟工件的掉落范围进行限制；

工件位姿采集装置，用于在虚拟工件随机掉落动作完成后，记录当时的所述目标工件的位姿信息；

工件可视化程度分析装置，用于在所述仿真场景中，对每个虚拟工件的可视化程度进行计算和分析；

数据集标签整合装置，用于对3D训练图像、工件位姿标签、可视化程度标签进行整合，生成所述3D训练数据集。

4.一种用于实现权利要求1-3中任意一项所述的工件识别和位姿检测方法的工件识别和位姿检测系统，其特征在于包括：

图像采集模块，用于利用2D相机在待识别场景中获取所述2D图像，利用3D相机在所述待识别场景中获取所述3D图像信息；所述待识别场景包括工件无序堆叠场景；

区域获取模块，用于将所述2D图像导入目标分割模型中进行识别，获取所述目标工件的区域位置；将所述区域位置映射到3D点云图像中的对应区域，并所述3D点云图像中的目标工件所在区域进行实例分割，获得所述目标工件对应的点云区域；

位姿获取模块，用于基于深度学习算法，在所述点云区域中进行位姿检测，获取所述目标工件的位姿信息。

5.一种机械臂的抓取控制方法，其特征在于，包括：

基于权利要求1-3中任意一项所述的工件识别和位姿检测方法获取待识别场景中的目标工件及其位姿信息；

选定需抓取的所述目标工件，并基于所述位姿信息控制机械臂进行抓取动作。