[发明专利]控制机械臂操作物体的方法、装置及模型训练方法、装置

说明书

本发明实施例提供了一种控制机械臂操作物体的方法及深度神经网络模型的训练方法，控制机械臂操作物体的方法包括：获取图像传感器当前时刻采集的目标图像；将目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签；判断目标图像对应的标签是否与预设的操作标签相同；如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤；如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，使机械臂对物体操作的准确率大大提高。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种控制机械臂操作物体的方法、装置及一种深度神经网络模型的训练方法、装置。

背景技术

机械臂在进行基于视觉的物体操作时，要解决的首要问题就是准确率问题。机械臂在进行物体操作时，为了保证操作准确率，通常都要对摄像机的内参和外参进行校准，保证视觉检测得到的物体位置的准确，才能保证机械臂可以进行精准的基于视觉的操作。

摄像机的内参一般指的是摄像机的焦距和畸变参数，摄像机的外参一般是指摄像机与机械臂的末端工具的相对位置关系。由于基于距离传感器获取的距离数据存在误差，同时，摄像机的内参和外参的标定过程中都会存在误差，因此，采用现有方式均无法精确估计摄像机的内参和外参。

可见，由于摄像机的内参和外参的估计存在误差，摄像机的内参和外参无法准确确定，从而造成机械臂在基于视觉进行物体操作时也产生误差，操作准确率降低。

发明内容

本发明实施例的目的在于提供一种控制机械臂操作物体的方法、装置及一种深度神经网络模型的训练方法、装置，以提高机械臂对物体操作的准确率。具体技术方案如下：

第一方面，本发明实施例提供了一种控制机械臂操作物体的方法，所述机械臂末端安装有末端工具，所述方法包括：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

可选的，在所述获取图像传感器当前时刻采集的目标图像的步骤之前，所述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

可选的，所述深度神经网络模型的训练方式，包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可选的，所述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，包括：