[发明专利]控制机械臂操作物体的方法、装置及模型训练方法、装置

权利要求书

1.一种控制机械臂操作物体的方法，其特征在于，所述机械臂末端安装有末端工具，所述方法包括：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

2.如权利要求1所述的方法，其特征在于，在所述获取图像传感器当前时刻采集的目标图像的步骤之前，所述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

3.如权利要求1所述的方法，其特征在于，所述深度神经网络模型的训练方式，包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

4.如权利要求3所述的方法，其特征在于，所述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

5.如权利要求3或4所述的方法，其特征在于，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

6.一种深度神经网络模型的训练方法，其特征在于，所述方法包括：

构建初始深度神经网络模型；

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

7.一种控制机械臂操作物体的装置，其特征在于，所述机械臂末端安装有末端工具，所述装置包括：

目标图像获取模块，用于获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

图像检测模块，用于将所述目标图像输入预先通过模型训练模块训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

操作标签确定模块，用于判断所述目标图像对应的标签是否与预设的操作标签相同；

控制移动模块，用于在所述目标图像对应的标签与预设的操作标签不同时，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并触发所述目标图像获取模块，其中，所述目标标签为所述目标图像对应的标签；

控制操作模块，用于在所述目标图像对应的标签与预设的操作标签相同时，控制所述末端工具对所述待操作物体进行目标操作。