[发明专利]一种机器人视觉识别及定位方法、智能终端及存储介质

权利要求书

1.一种机器人视觉识别及定位方法，其特征在于，应用于与相机和机器人连接的智能终端，所述方法包括：

获取待识别图像；其中，所述待识别图像中包括若干待拆卸部件；

将所述待识别图像输入图像识别模型，通过所述图像识别模型输出各个待拆卸部件对应的类别信息和图像位置信息；

根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置。

2.根据权利要求1所述的机器人视觉识别及定位方法，其特征在于，所述图像识别模型的生成方法包括：

将训练图像集中的训练图像输入预设网络模型中，通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签；其中，所述训练图像集中包括训练图像和所述训练图像中各部件对应的真实属性标签，所述真实属性标签包括真实类别信息和真实图像位置信息，所述预测属性标签包括预测类别信息和预测图像位置信息；

根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到图像识别模型。

3.根据权利要求2所述的机器人视觉识别及定位方法，其特征在于，所述根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件的步骤包括：

根据所述预测属性标签和所述真实属性标签确定损失值，并将所述损失值与预设阈值进行比较；

当所述损失值不小于所述预设阈值时，根据预设的参数学习率对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述损失值小于所述预设阈值。

4.根据权利要求1所述的机器人视觉识别及定位方法，其特征在于，所述根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置的步骤包括：

根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标；

根据预先确定的相机到机器人末端的转换矩阵对所述中心位置坐标进行坐标变换，确定所述各个待拆卸部件对应的目标位置。

5.根据权利要求4所述的机器人视觉识别及定位方法，其特征在于，所述根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标的步骤包括：

根据所述图像位置信息，确定所述各个待拆卸部件对应的最小外接矩形；

获取各个待拆卸部件对应的最小外接矩形的中心点坐标，并将所述中心点坐标确定为所述各个待拆卸部件对应的中心位置坐标。

6.根据权利要求1所述的机器人视觉识别及定位方法，其特征在于，所述相机到机器人末端的转换矩阵的确定方法包括：

获取预先设计的棋盘格，根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标；

根据所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，确定相机到机器人末端的转换矩阵。

7.根据权利要求6所述的机器人视觉识别及定位方法，其特征在于，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤包括：

根据所述棋盘格对所述相机进行标定，确定所述相机的内外参数以及畸变系数；

获取所述棋盘格中各个角点的图像坐标，根据所述相机的内外参数以及畸变系数对所述图像坐标进行坐标变换，确定所述棋盘格中各个角点在相机坐标系下的坐标。