[发明专利]一种部件装配的检测方法、装置、系统及介质

权利要求书

1.一种部件装配的检测方法，其特征在于，所述方法包括：

获取部件装配图像；

对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；

根据至少一类目标对象的检测结果，确定至少一类目标对象图像；

确定各目标对象图像的至少一个检测结果；

根据至少一个检测结果，确定部件装配的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述确定各目标对象图像的至少一个检测结果，包括：

根据部件图像，确定部件类型识别结果；

基于预先训练的卷积神经网络，确定所述部件图像的第一特征，并根据所述部件类型识别结果，确定与所述部件图像匹配的第二特征；

根据所述第一特征和第二特征，确定部件姿态检测结果；其中，所述部件姿态检测结果包括部件空间坐标和部件旋转信息。

3.根据权利要求2所述的方法，其特征在于，所述第一特征为二维特征，所述第二特征为三维特征；

所述根据所述部件类型识别结果，确定与所述部件图像匹配的第二特征，包括：

根据所述部件类型识别结果，在预先获取的三维点云数据集合中确定目标点云数据；

基于点云分割模型，对所述目标点云数据进行处理，确定与所述部件图像匹配的三维特征。

4.根据权利要求2所述的方法，其特征在于，所述确定各目标对象图像的至少一个检测结果，包括：

根据手部图像，确定关节点检测结果；

根据所述关节点检测结果，确定装配手势检测结果。

5.根据权利要求4所述的方法，其特征在于，所述关节点检测结果包括关节点位置数据；

所述根据手部图像，确定关节点检测结果，包括：

基于关节点检测模型，对手部图像进行处理，确定关节点位置数据；

所述根据所述关节点检测结果，确定装配手势检测结果，包括：

基于手势分类模型，对所述关节点位置数据进行处理，确定装配手势检测结果。

6.根据权利要求4所述的方法，其特征在于，所述根据至少一个检测结果，确定部件装配的检测结果，包括：

根据所述部件类型识别结果、所述部件姿态检测结果和所述装配手势检测结果中的至少一个，确定部件装配的检测结果。

7.根据权利要求1所述的方法，其特征在于，所述获取部件装配图像，包括：

获取虚拟现实设备采集的部件装配图像；其中，所述虚拟现实设备由装配人员佩戴；

在根据各检测结果，确定部件装配的检测结果之后，所述方法还包括：

若部件装配的检测结果为存在装配错误，则根据所述检测结果生成告警提示信息，发送至所述虚拟现实设备。

8.一种部件装配的检测装置，其特征在于，所述装置包括：

装配图像获取模块，用于获取部件装配图像；

目标对象检测模块，用于对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；

目标对象图像确定模块，用于根据至少一类目标对象的检测结果，确定至少一类目标对象图像；

图像检测结果确定模块，用于确定各目标对象图像的至少一个检测结果；

装配检测结果确定模块，用于根据至少一个检测结果，确定部件装配的检测结果。

9.一种部件装配检测系统，其特征在于，所述系统包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的部件装配的检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的部件装配的检测方法。