[发明专利]一种面向机器人智能抓取应用的视觉识别与定位方法

权利要求书

1.一种面向机器人智能抓取应用的视觉识别与定位方法，其特征在于，包括以下步骤：

(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像，所述RGB-D场景图像由彩色图像和深度图像组成；

(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含的目标对象类别及其相应位置区域；

(3)点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；

(4)位姿求解步骤：采用PCA主成分分析法，提取步骤(3)分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数；

(5)坐标变换步骤：根据位姿求解结果，采用坐标变换矩阵，将相对于视觉传感器的位姿四元数转换成控制器所需坐标系下的对应参数，并将结果传送给控制系统。

2.根据权利要求1所述的方法，其特征在于，所述图像采集步骤包括：机器人采用深度相机，在距离货架1米左右的位置采集场景中的彩色图像和深度图像，彩色图像包含场景中目标物表面颜色信息和纹理信息，深度图像包含场景中目标物的空间状态信息，深度图像中每个像素点的像素值表示传感器到实体对象的距离，彩色图像和深度图像中的像素点通过视觉传感器内参校正后一一对应，组成RGB-D图像。

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述深度卷积神经网络针对特定检测任务生成，其生成过程包括深度学习数据集构建步骤、深度卷积神经网络构建步骤，以及深度卷积神经网络离线训练步骤，具体如下：

(A)深度学习数据集构建步骤：根据检测对象及任务需求采集对应场景下的样本图像，借助开源工具人工标注样本图像，标注信息包括场景中目标对象所属类别及其对应位置区域；

(B)深度卷积神经网络构建步骤：采用基础网络和附加网络组成所述深度卷积神经网络，基础网络用于提取特征，附加网络利用提取的多尺度特征图进行目标分类和位置回归；

(C)深度卷积神经网络离线训练步骤：针对自建小规模数据集进行数据增强处理，初始化深度卷积神经网络各项参数，设置训练参数进行网络权重参数的学习与迭代更新，利用训练得到的权重参数预测相似场景图像中包含的目标物体及其对应位置区域。

4.根据权利要求3所述的方法，其特征在于，所述基础网络采用VGG-16作为原型，在保持整体结构不变的情况下对网络进行局部修改，优化特征提取性能；所述局部修改的地方包括：pool5层以1进行边缘填充后采用3×3的核进行池化，并以1步幅移动遍历；conv6和conv7层将全连接操作改成卷积操作；conv6采用膨胀卷积操作。

5.根据权利要求3所述的方法，其特征在于，所述附加网络通过共享卷积特征图的方式，将类别预测和位置回归步骤合二为一，根据提取的多尺度特征图输出三通道检测结果，三通道输出向量分别包括：各特征图上的各个预设的包围框位置(cx，cy，w，h)，其中(cx，cy)代表包围框的中心坐标，w和h是包围框的长宽尺寸；位置预测各实际包围框相对于该位置上预设包围框的位置偏移量(△cx，△cy，△w，△h)；类别预测结果表示为每个预设包围框框选对象属于各个目标类别的概率，概率最大项即包围框框选对象类别的预测结果。