[发明专利]基于双通路卷积神经网络的服务机器人抓取检测方法

权利要求书

1.一种基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，该方法包括：

步骤S10，服务机器人通过传感器获取周围环境的原始彩色图像和原始深度图像，并将所述原始彩色图像转换为原始灰度图像；

步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的包围框，并将所述包围框在所述原始深度图像、所述原始灰度图像中的对应区域作为第一深度图像区域、第一灰度图像区域；

步骤S30，将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域；

步骤S40，通过双通路卷积神经网络的编码器分别对所述第二深度图像区域、第二灰度图像区域进行编码，得到第一特征图、第二特征图；并将所述第一特征图、所述第二特征图相加，得到第三特征图；

步骤S50，通过所述双通路卷积神经网络的解码器对所述第三特征图进行解码，得到抓取质量特征图Q、宽度特征图W、高度特征图H、第一角度特征图C、第二角度特征图S；

步骤S60，基于Q、W、H、C、S，通过预设的第一方法得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；

其中，Q、W、H、C、S分别为以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、高度、2倍朝向角的余弦值、2倍朝向角的正弦值构建的特征图；

所述双通路卷积神经网络包括双分支的编码器以及解码器；所述编码器基于深度可分离卷积层构建；所述解码器基于级联的全局反卷积模块以及五个标准卷积构建；对每一个全局反卷积模块，其输入特征图分别经过上下两个反卷积分支处理，将两个反卷积分支输出的特征图相加后，再经过批归一化处理和ReLu激活函数处理，得到全局反卷积模块的输出特征图。

2.根据权利要求1所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，步骤S30中“将所述第一深度图像区域、所述第一灰度图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二灰度图像区域”，其方法为：通过双线性插值法将所述第一深度图像区域、所述第一灰度图像区域调整至设定的尺寸，得到第二深度图像区域、第二灰度图像区域。

3.根据权利要求2所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，步骤S60中“通过预设的第一方法得到最佳抓取矩形”，其方法为：

选取抓取质量特征图中最大抓取质量评价值所对应的像素点的位置作为最佳抓取矩形的中心位置；

获取第一角度特征图、第二角度特征图在所述中心位置处的对应取值，并通过预设的第二方法得到最佳抓取矩形的朝向角；

获取宽度特征图、高度特征图在所述中心位置处的对应取值，作为最佳抓取矩形的宽、高；

综合所述中心位置、所述朝向角、所述宽、高，得到最佳抓取矩形。

4.根据权利要求3所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，“通过预设的第二方法得到最佳抓取矩形的朝向角”，其方法为：

其中，θ^*表示最佳抓取矩形的朝向角，(u^*,v^*)表示最佳抓取矩形的中心位置，分别表示第一角度特征图、第二角度特征图在(u^*,v^*)处的对应取值。

5.根据权利要求4所述的基于双通路卷积神经网络的服务机器人抓取检测方法，其特征在于，所述双通路卷积神经网络的损失函数为：

其中，L_loss为双通路卷积神经网络在训练时获取的损失值，N为双通路卷积神经网络在训练时的训练样本总数，Q_i、W_i、H_i、C_i、S_i为基于第i个训练样本，双通路卷积神经网络输出的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图，为第i个训练样本对应的抓取质量特征图、宽度特征图、高度特征图、第一角度特征图、第二角度特征图的真值，i＝1,2,…,N。