[发明专利]一种面向机器人智能抓取应用的视觉识别与定位方法

摘要

本发明涉及一种面向机器人智能抓取应用的视觉识别与定位方法，通过采集RGB‑D场景图像，利用监督训练后的深度卷积神经网络识别彩色图像中包含目标的类别及其对应位置区域，结合深度图像分析目标位姿状态，通过坐标变换得到控制器所需位姿信息，完成视觉识别与定位。该方法仅通过单一视觉传感器即实现识别与定位双功能，简化了现有的目标检测过程，节约了应用成本。同时，采用深度卷积神经网络通过学习得到图像特征，对目标随意摆放、图像视角变化、光照背景干扰等多重环境干扰具有较强的鲁棒性，提高了复杂工况下的识别与定位准确率。此外，该定位方法在确定物体空间位置分布的基础上能更进一步得到确切的姿态信息，有利于智能抓取的策略规划。

主权项

1.一种面向机器人智能抓取应用的视觉识别与定位方法，其特征在于，包括以下步骤：

(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB‑D场景图像，所述RGB‑D场景图像由彩色(RGB)图像和深度(Depth)图像组成；

(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含的目标对象类别及其相应位置区域；

(3)点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；

(4)位姿求解步骤：采用PCA主成分分析法，提取步骤(3)分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数；

(5)坐标变换步骤：根据位姿求解结果，采用坐标变换矩阵，将相对于视觉传感器的位姿四元数转换成控制器所需坐标系下的对应参数，并将结果传送给控制系统。

2.根据权利要求1所述的方法，其特征在于，所述图像采集步骤包括：机器人采用深度相机，在距离货架1米左右的位置采集场景中的彩色图像和深度图像，彩色图像包含场景中目标物表面颜色信息和纹理信息，深度图像包含场景中目标物的空间状态信息，深度图像中每个像素点的像素值表示传感器到实体对象的距离，彩色图像和深度图像中的像素点通过视觉传感器内参校正后一一对应，组成RGB‑D图像。

3.根据权利要求1‑2任意一项所述的方法，其特征在于，所述深度卷积神经网络针对特定检测任务生成，其生成过程包括深度学习数据集构建步骤、深度卷积神经网络构建步骤，以及深度卷积神经网络离线训练步骤，具体如下：

(A)深度学习数据集构建步骤：根据检测对象及任务需求采集对应场景下的样本图像，借助开源工具人工标注样本图像，标注信息包括场景中目标对象所属类别及其对应位置区域；

(B)深度卷积神经网络构建步骤：采用基础网络和附加网络组成所述深度卷积神经网络，基础网络用于提取特征，附加网络利用提取的多尺度特征图进行目标分类和位置回归；

(C)深度卷积神经网络离线训练步骤：针对自建小规模数据集进行数据增强处理，初始化深度卷积神经网络各项参数，设置训练参数进行网络权重参数的学习与迭代更新，利用训练得到的权重参数预测相似场景图像中包含的目标物体及其对应位置区域。

4.根据权利要求3所述的方法，其特征在于，所述基础网络采用VGG‑16作为原型，在保持整体结构不变的情况下对网络进行局部修改，优化特征提取性能；所述局部修改的地方包括：pool5层以1进行边缘填充后采用3×3的核进行池化，并以1步幅移动遍历；conv6和conv7层将全连接操作改成卷积操作；conv6采用膨胀卷积操作。

5.根据权利要求3所述的方法，其特征在于，所述附加网络通过共享卷积特征图的方式，将类别预测和位置回归步骤合二为一，根据提取的多尺度特征图输出三通道检测结果，三通道输出向量分别包括：各特征图上的各个预设的包围框位置(cx，cy，w，h)，其中(cx，cy)代表包围框的中心坐标，w和h是包围框的长宽尺寸；位置预测各实际包围框相对于该位置上预设包围框的位置偏移量(△cx，△cy，△w，△h)；类别预测结果表示为每个预设包围框框选对象属于各个目标类别的概率，概率最大项即包围框框选对象类别的预测结果。

6.根据权利要求3所述的方法，其特征在于，所述数据增强处理是指：对给定样本图像进行随机裁剪、水平翻转、尺寸缩放、色调调整、亮度调整、饱和度调整等预处理，最终将图像统一缩放到300×300大小；

所述初始化深度卷积神经网络各项参数是指：采用VGG‑16在ImageNet上的训练结果初始化结构相同的卷积层权重及阈值，其余新增层参数采用Xavier算法初始化；

所述网络权重参数的学习与迭代更新是指：将预处理好的训练样本集输入深度卷积神经网络，设置训练参数采用反向传播算法训练迭代至结果收敛，对整个网络进行参数的整体优化；其中，反向传播进行训练的损失函数L为：

L＝(L_conf+αL_loc)/N

其中，L_conf表示置信损失，即类别预测结果与真实结果的偏差度量；L_loc表示位置损失，即位置预测结果与真实位置之间的偏差度量；α为权重系数，调整置信损失与位置损失在预测结果中的权重；N为匹配的预设包围框数，若N＝0，则记L＝0；通过置信损失和位置损伤的加权综合得到多目标类别预测及其位置区域预测的整体损失度量。

7.根据权利要求1‑6任意一项所述的方法，其特征在于，所述点云分割步骤中，所述聚类算法常采用基于距离进行聚类的K‑means算法，将点云聚类成物体与背景两个簇，提取出属于目标物体的点云，过滤去除背景噪点。

8.根据权利要求1‑7任意一项所述的方法，其特征在于，所述利用RanSaC检测方法分割出点云模型中代表性几何特征点集是指：借助步骤(2)物体类别检测结果，判断目标物体可能带有的代表性几何特征，通常为平面、圆柱面或球面等规则几何特征，检测点云集中代表性几何特征存在性并分割出相应区域点云。代表性几何特征的判断以物体类别检测结果为基础。

9.根据权利要求1‑8任意一项所述的方法，其特征在于，所述PCA主成分分析法是指：根据分割得到的几何特征点集，计算点云集坐标分布特征的协方差矩阵，协方差矩阵最大特征值对应的特征向量即为该点集的主方向，次大特征值对应的特征向量正交于最大特征向量为副方向，由主方向方向矢量叉乘副方向方向矢量确定表面法向。

10.根据权利要求1‑9任意一项所述的方法，其特征在于，所述坐标变换矩阵表示由相机物理坐标系到控制器所需坐标系下的坐标齐次变换关系，控制器所需坐标系通常取机械臂末端执行器物理坐标系，坐标变换矩阵由视觉标定生成，标定过程包括：借助标准标定板，通过多视角标定图像中角点及其几何关系，标定相机内参，校正相机物理坐标系；借助标准标定板，通过机器人机械臂关节运动参数和多视角标定图像角点坐标变换关系，标定相机物理坐标系与机械臂末端执行器物理坐标系间的齐次变换；结合相机内参与齐次变换矩阵转换位姿至控制系统所需坐标系下，并将视觉识别与位姿检测结果传送给控制系统。