[发明专利]一种基于深度学习的目标识别与抓取定位方法

说明书

本发明公开了一种基于深度学习的目标识别与抓取定位方法，属于机器视觉领域。首先，利用Kinect相机采集场景的深度和彩色图像，然后使用Faster R‑CNN深度学习算法识别场景目标，根据识别的类别选择抓取的目标区域，并作为GrabCut图像分割算法的输入，通过图像分割获取目标的轮廓，进而获取目标的具体位置，并作为级联神经网络的输入进行最优抓取位置检测，最终获取机械臂的抓取位置和抓取姿态。通过该方法提高目标识别与定位的实时性、准确性以及智能性。

技术领域

本发明属于机器视觉领域。提出了一种基于深度学习的目标识别与抓取定位方法，用于提高目标识别与定位的实时性、准确性以及智能性。

背景技术

随着工业自动化技术的发展，机器人的数量在不断的增加，工业机器人已经广泛的应用到汽车制造，机械加工、电子电气以及智能家庭服务等生活的方方面面。机器人技术的发展在一定程度上反应了一个国家自动化的发展水平，随着社会经济的发展，生产规模的扩大以及生产环境的复杂化，开发和生产更加智能化、信息化、高精度的自动化系统显得尤为的重要。在机器视觉领域，目标识别与定位是关键技术，其不仅可以指引机器人完成某项任务，如工业零件加工、分拣以及搬运等任务。其在视觉场景理解、地图创建以及AR等复杂的视觉领域也有重要的意义，研究机器视觉技术是推动机器人发展的一项巨大的举措。传统的机械臂的抓取采用的是示教系统，但当待抓取目标的位置、形状以及环境发生变化时，示教系统下的机械臂不能随外界的变化而做出相应的调整，因而会造成抓取任务的失败。计算机视觉解决机械臂抓取任务的通常做法是，首先利用相机对场景采样，利用图像处理算法获取目标位置以及空间的姿态信息，最终使机械臂完成抓取任务。传统的机械臂识别阶段的图像处理采用特征提取的方法来处理图像信息，特征提取的过程中容易受到光照、目标形状和目标大小等外界因素的影响，因此泛化能力和鲁棒性较差。深度学习概念是Hinton在2006年首次提出，Krizhevsky在2012年的ImageNet比赛利用深度学习的方法取得了优异的成绩，深度学习引起了全世界研究人员的关注。相比于传统的视觉算法，深度学习不需要使用者预先选定提取的何种特征，而是通过学习的方式在大量的数据中找到目标所具有的特征。

针对传统视觉算法泛化能力低、鲁棒性不强的特点，本专利采用Faster R-CNN深度学习的方法识别目标，提高了识别系统的泛化能力和鲁棒性。但深度学习识别阶段只能获得目标的位置和类别，并不能获得目标的抓取位置，为了解决这个问题，本专利采用LenzI等人提出的基于深度学习方法进行抓取位置学习，最终获得机械臂的抓取位置和抓取姿态。

发明内容

本发明的目的是提供一种准确且高效的目标识别和抓取定位方法。

本发明采用如下的技术方案：

为了解决上述传统视觉算法存在的问题，提出了一种基于深度学习的目标识别与抓取定位方法。首先，利用Kinect相机采集场景的深度和彩色图像，然后使用Faster R-CNN深度学习算法识别场景目标，根据识别的类别选择抓取的目标区域，并作为GrabCut图像分割算法的输入，通过图像分割获取目标的轮廓，进而获取目标的具体位置，并作为级联神经网络的输入进行最优抓取位置检测，最终获取机械臂的抓取位置和抓取姿态。

本发明的技术特征如下：

(1)基于深度学习的目标识别；