[发明专利]基于神经网络的物体分类和位姿估计方法

说明书

本发明公开了一种基于神经网络的物体分类和位姿估计方法，主要解决现有技术在利用卷积神经网络进行物体检测和姿态估计时精度低的问题。其实现方案是：1)获得数据集中每个CAD模型多视角图像；2)根据CAD模型的多视角图像构建联合检测的数学模型；3)构建卷积神经网络并利用CAD模型的多视角图像训练卷积神经网络；(4)将测试集中每个CAD模型的多视角图像输入到神经网络，输出神经网络预测的类别标签和位姿标签。本发明结合了神经网络浅层特征图与深层特征图，使得结合以后的特征图既保留了丰富的位姿信息，也保留了良好的分类信息，提高了分类和位姿估计的精确度。可用于智能机械手臂和机器人抓取。

技术领域

本发明属于人工智能领域，涉及一种物体分类和位姿估计方法，可用于智能机械手臂和机器人抓取。

背景技术

卷积神经网络CNN是一种前馈神经网络，其由卷积层、全连接层、池化层、和激活层组成。相比于传统全连接的神经网络，卷积神经网络通过应用局部连接和权值共享技术，使得同一特征映射面上的神经元权值相同，大大减少了网络的参数个数，降低了网络的复杂度。激活函数也由sigmoid逐渐演化为单侧抑制的ReLU。激活函数的不断改进，使得神经元更加接近生物神经元激活的特性。此外，CNN避免了对图像的复杂的前期处理，包括复杂的特征提取和数据重构，可以直接输入原始图像。梯度下降和链式求导法则的应用，使得神经网络能够良好的进行前向传播和反向传播的相互迭代，不断提高检测精度。而在众多的深度学习框架中，caffe是比较常见的一种，在视频、图像处理方面应用较多。Caffe的模块化、表示与实现分离，gpu和cpu之间的方便切换以及提供的Python和Matlab接口，使得我们可以使用Caffe方便的进行网络结构调整和网络训练。

近几年，深度学习在图像分类、物体检测、语义分割、实例分割等方面取得了显著的进展。一般的视觉系统需要解决两个问题：物体分类和物体的姿态估计，所谓姿态估计，是指物体相对于照相机的姿态。物体位姿估计在很多应用中都至关重要，比如机器人抓取等等。但是物体分类和位姿估计又是互相矛盾的，分类系统需要不论物体在任何姿态，都可以正确分类。因此分类系统学习的是与视点不相关的特征。而对于物体位姿估计，系统需要学习保持物体几何和视觉的特征，用以区分其位姿。对于卷积神经网络，浅层的特征图趋向于更加一般的、类别不确定的特征，但是包含了更多的不同位姿之间的特征。深层特征图更加抽象，类别特征更加明显，但具体位姿的信息因为高度抽象而不明显。现有的检测方法一般都是选择一个中间的层的特征，这个层的特征在分类和位姿估计的表现上都较为良好，因此是一种折衷的方法，不能使物体检测和姿态估计的精度同时达到最佳。

2015年由Hang Su等人提出的一种物体分类和位姿估计的方法MVCNN，该方法提出了将样本3D数据转化为2D的多视角图片，在保证检测精度的前提下进行数据降维，虽然可以简化处理过程，但又需要对物体所有视角的图片进行特征提取，再合并各个视角图片的信息。这在实际场景中，因为目标对象存在遮挡、截断等现象，给从所有预定义视点采集物体多视角图片带来困难，不符合实际场景中的需求。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于神经网络的物体分类和位姿估计方法，以提高物体检测和位姿估计的精度，加快检测速度，满足实际场景的需求。

本发明的技术思路是：通过结合卷积神经网络中浅层特征和深层特征来提高物体检测和位姿估计精度；通过对检测物体部分视角的图像的迭代，加快检测的速度。其实现方案包括如下：

(1)获得训练集和测试集，设定CAD模型对应的图像：

从ModelNet10数据集中取出3429个CAD模型作为训练集，取出1469个CAD作为测试集；