[发明专利]基于机器视觉的机械臂抓取方法、装置及设备

说明书

本发明属于机械臂技术领域，公开了一种基于机器视觉的机械臂抓取方法、装置及设备。通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。

技术领域

本发明涉及机械臂技术领域，尤其涉及一种基于机器视觉的机械臂抓取方法、装置及设备。

背景技术

随着人工智能浪潮的兴起，机器人在各行各业发挥着日益重要的作用。对机器人而言，抓取是机器人走进真实世界必不可少的技能，比如在物流行业中对物体进行分拣，在工业生产线上完成零件的装配等。然而，在实际应用场景中，被抓取物体的移动轨迹、位置、姿态、可承受力度等均不同，使得机械臂抓取难以应用于各种复杂的应用场景中。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于机器视觉的机械臂抓取方法、装置及设备，旨在解决现有技术难以应用于复杂的应用场景中的技术问题。

为实现上述目的，本发明提供了一种方法，所述方法包括以下步骤:

连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；

在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；

对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；

获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；

基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。

优选地，所述对所述多帧图像进行分析，并根据分析结果确定物体抓取参数的步骤，包括：

对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；

对所述物体特征数据进行分析，确定抓取位置及抓取角度；

根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；

根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。

优选地，所述对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据的步骤，包括：

对所述多帧图像进行纹理识别，以获得物体纹理数据；

根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；

根据所述多层特征图像数据构建物体特征数据。

优选地，所述对所述物体特征数据进行分析，确定抓取位置及抓取角度的步骤，包括：

通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；

通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。

优选地，所述根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间的步骤，包括：

根据所述物体纹理数据提取纹理特征；