[发明专利]基于混合信息输入网络模型的未知物体抓取位姿估计方法

权利要求书

1.一种基于混合信息输入网络模型的未知物体抓取位姿估计方法，其特征在于，所述方法的实现过程为：

步骤一、对训练图像数据集中的图像混合信息进行预处理；具体过程为：

1)深度信息预处理

图像混合信息包含物体图像的彩色、深度和法向量通道信息，深度通道信息存在的图像噪声使深度图像上像素点的深度缺失；

对深度图像中存在的深度缺失以零值代替，并记录这些缺失的深度信息点的位置；然后，根据深度图像中缺失信息点所占整幅图像的比例，放大非零正常深度信息点的深度信息；

2)图像旋转与缩放操作

对候选抓取矩形采取图像旋转、尺寸缩放和比例放大的预处理操作，使数据结构符合深度卷积神经网络模型需要的尺寸；具体过程为：首先，通过一定的旋转操作将其矩形长边与图像坐标系X轴保持平行关系；然后，在保证候选抓取矩形的长宽比例不变的前提下，将长边尺寸缩放至预设像素，并按此缩放比例对短边进行缩放，将宽边尺寸填充至与长边相同的预设像素，填充区域像素值补全值赋0；最后，为了使缩放后各候选抓取区域对模型训练具有同等效果，根据区域内有效像素所占比例对有效像素点的值进行一定的尺度放大；

3)白化处理

在完成抓取区域矩形的旋转、缩放操作后，进行如下白化处理：

首先，在各样本图像的深度通道信息上按式(1)单独进行白化处理，以消除各样本间因深度信息差异过大而无法进行整体白化处理的问题；

然后，对彩色和法向量通道的信息在数据集上按式(2)分别进行白化处理，其中需要将各通道的缩放尺度设置为三个通道标准差之和；

式中，和分别是单个深度图像m上的原始数据和白化处理后的图像数据，k＝1,2,3为深度图像上{X,Y,Z}方向上的三个通道信息；和分别是彩色图像和法向量信息的原始数据，和为采用改进方法处理后的彩色和法向量通道信息；D_i是对应图像上各通道的标准差，G_PCA是主成分分析处理函数；

通过这样以上预处理操作，可以使三种通道视觉信息处于同一水平，从而使网络模型能够在各个通道信息中都提出目标特征；

步骤二、构建基于混合信息输入的信息融合机制，并搭建神经网络模型；具体过程为：

1)神经网络模型的构建

对未知物体上候选抓取区域的可抓取性进行评价，并搜索获得其最佳的抓取区域，采用构建深度卷积神经网络模型并进行学习方法；构建的深度卷积神经网络模型结构共包含7层，一个输入层，一个混合信息融合层，两个卷积层，两个全连接层和一个输出层；

当给定物体上一个图像矩形块r＝(x_c,y_c,h,α)时，通过此区域内各通道的视觉信息X_r作为神经网络模型的输入；x_c,y_c表示矩形块的中心点，h表示矩形块的长度，α表示矩形块的旋转角度；

混合信息融合层后之后连接两个传统的卷积层，且各层之后均有一个最大值降采样机制；第二个卷积层之后连接两个全连接层，并采用Dropout方法降低模型过拟合风险；最后的输出层采用Logistic分类器对此区域是否适合抓取进行判别；各隐含层均采用ReLU函数进行神经元激活；

基于混合信息输入的网络模型的输出是输入矩形区域可抓取性的概率估计，在推断过程中，通过寻找模型的最大输出概率来确定物体上最佳的抓取区域；

式中，f(r)是从候选抓取图像区域r中提取的图像特征，是此区域是否可以抓取的判别结果，r^*是候选抓取区域集合R中搜索到的最佳抓取区域，Θ^*为最佳的深度卷积神经网络模型参数；

2)混合信息输入的信息融合机制：

深度卷积神经网络模型的输入包括三种类别的九个通道视觉信息，即三通道彩色信息、三通道深度信息和三通道表面法向量信息；其中，表面法向量通道是通过在深度通道信息上进行各点法向量计算而获得；

在单独处理各通道信息的基础上，通过在彩色通道和深度通道之间、彩色通道和法向量通道之间引入两种共享的卷积核，使模型能够学习到两种不同通道间的高关联性特征；并通过在目标优化函数中引入针对共享卷积核的参数连接数量的惩罚项，以减小模型的复杂度和抑制弱相关特征的学习；

输入层将色彩、深度和法向量九通道混合信息分成三组进行输入，各组分别提取卷积核特征，同时采用共享卷积核同时提取彩色信息组和深度信息组，彩色信息和法向量信息组的关联特征；

神经网络模型的混合信息融合层是一种包含了五种特征图的卷积层，其分别是三种通道各自提取的特征图、彩色通道和深度通道共同提取的特征图、彩色通道和法向量通道共同提取的特征图；

在所述共享卷积核上设计正则化方法，将惩罚项引入至神经网络模型的优化函数，从而使模型参数在优化过程中考虑到关联特征的学习；

式中，G(W)为在共享卷积核上的正则化惩罚项；右侧第一项为仅对非零参数的惩罚项，右侧第二项||W||_p为对参数尺度的L1范数惩罚项，p为1；W为神经网络的参数，β是表征不同惩罚项对最终惩罚项的影响权重；I(A)是指示函数，A为该函数中的表达式，当表达式为真时，函数输出为1，反之为0；L、N和M分别是融合通道数量、卷积核数量和一个卷积核上参数数量，是共享卷积核中的各参数；

步骤三、对包含混合信息融合机制的网络模型参数进行训练，完成模型优化，获得优化后的混合信息输入网络模型；

步骤四、利用基于RGB-D图像的物体分割技术实现对传感器采集到的场景图像进行可抓取物体分割；

步骤五、利用基于反馈信息的候选区域生成机制，搜索获得物体上的最佳抓取区域；具体过程为：

首先，在图像中随机生成一系列初始化的候选待抓取矩形区域，并对其进行图像预处理以满足模型输入；

然后，对这些初始化区域进行优劣判别并记录结果；

其后，将这些初始化的矩形区域的判别结果反馈至ε-greedy搜索算法中，加强在判别结果排名较高区域附近的搜索力度，并减少在低排名判别结果区域附近的搜索，同时不断更新已搜索区域及其判别结果；

最后，当最佳待抓取区域的判别值变化小于一定阈值后，此待抓取矩形区域即为整个物体上最佳的待抓取操作区域；

步骤六、利用估计机器人在最佳抓取区域的抓取位置和抓取姿态，进而获得机器人抓取物体时的抓取位姿。