[发明专利]基于双通路卷积神经网络的服务机器人抓取检测方法

说明书

本发明属于服务机器人技术领域，具体涉及一种基于双通路卷积神经网络的服务机器人抓取检测方法、系统、装置，旨在解决机器人抓取检测方法难以兼具实时性和准确性问题。本发明方法包括：获取周围环境的原始彩色图像和原始深度图像，并将原始彩色图像转换为原始灰度图像；获取目标物体包围框，并得到第一深度图像区域、第一灰度图像区域；将图像区域调整至设定尺寸；对调整尺寸的图像区域进行编码，并相加；将相加后的特征图进行解码，得到抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图；得到最佳抓取矩形及其在原始彩色图像中对应的最佳抓取检测框，实现对目标物体的抓取检测。本发明保证了抓取的实时性和准确性。

技术领域

本发明属于服务机器人技术领域，具体涉及一种基于双通路卷积神经网络的服务机器人抓取检测方法、系统、装置。

背景技术

近年来，随着人工智能、传感技术、计算处理技术等的迅猛发展，服务机器人逐渐走进人们的日常生活，其中安装有机械臂的服务机器人以其能够提供物体抓取的服务而受到普遍关注。为实现对目标物体的抓取，机器人需要首先利用基于深度学习的物体检测方法(例如Faster R-CNN、YOLO、SSD等方法)检测出目标物体，而后确定目标物体在图像中的最佳抓取检测框，进而引导机械臂进行抓取作业，其中确定目标物体在图像中的最佳抓取检测框即抓取检测是保证抓取质量的重要一环。传统的抓取检测一般基于物体三维模型，适用于较为简单的情形或应用于特定物体。随着深度学习在机器人抓取检测领域的发展，出现了一系列基于卷积神经网络的抓取检测方法。基于分类的抓取检测方法一般通过对采样获得的候选抓取进行分类并排序，选择排名最高的候选抓取作为最佳抓取，但这类方法需要依次对每一个候选抓取进行判断，可能会带来耗时、特征的重复提取等问题。基于回归的抓取检测方法对整张图像进行分析，直接通过回归方式预测出最佳抓取，该类方法实时性较好，但当存在多个解的情形下，产生的最佳抓取可能是无效的。由于计算机视觉领域的图像检测和分割方法的迅速发展，产生了许多成熟的框架，基于图像检测/分割框架的抓取检测方法就利用这些框架，将其进行改变以适应抓取检测任务。整体来看，基于卷积神经网络的抓取检测方法通常聚焦于实时性和准确性中的一方面，难以同时兼具较好的实时性和较好的准确性。如何设计一种既具有较好实时性、又具有较好准确性的基于卷积神经网络的机器人抓取检测方法仍有待于进一步研究。

因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的机器人抓取检测方法难以同时兼具较好的实时性和较好的准确性的问题，本发明提出了一种基于双通路卷积神经网络的服务机器人抓取检测方法，该方法包括：

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；