[发明专利]基于神经网络的物体分类和位姿估计方法

摘要

本发明公开了一种基于神经网络的物体分类和位姿估计方法，主要解决现有技术在利用卷积神经网络进行物体检测和姿态估计时精度低的问题。其实现方案是：1)获得数据集中每个CAD模型多视角图像；2)根据CAD模型的多视角图像构建联合检测的数学模型；3)构建卷积神经网络并利用CAD模型的多视角图像训练卷积神经网络；(4)将测试集中每个CAD模型的多视角图像输入到神经网络，输出神经网络预测的类别标签和位姿标签。本发明结合了神经网络浅层特征图与深层特征图，使得结合以后的特征图既保留了丰富的位姿信息，也保留了良好的分类信息，提高了分类和位姿估计的精确度。可用于智能机械手臂和机器人抓取。

主权项

1.基于神经网络的物体分类和位姿估计的方法，包括：(1)获得训练集和测试集，设定CAD模型对应的图像：从ModelNet10数据集中取出3429个CAD模型作为训练集，取出1469个CAD作为测试集；对ModelNet10数据集中每个样本的CAD模型，依次进行两种策略的预处理：第一种是在CAD模型所在的视角圆上均匀地设置12个预定义的视点，在这12个预定义的每一个视点采集CAD模型对应的图像；第二种是将CAD模型放置在正十二面体中心，将正十二面体的20个顶点设置为预定义的视点，在这20个预定义的每一个视点采集CAD模型对应的图像；(2)根据对数据集中每个CAD模型预处理得到的多视角图像，构建联合检测的数学模型：(2a)将每个CAD模型的位姿标签作为隐变量，记为{vi}；(2b)将CAD模型不同视角的M个图像和CAD模型的类别标签y∈{1,..,N}，定义为训练样本，其中N为CAD模型的总类别数，每个视角图像x_i，分别对应一个视角标签v_i∈{1,..,M}；(2c)根据以上对训练样本的定义，将物体识别和位姿估计任务抽象为如下的优化问题：其中R是神经网络权值参数，为神经网络预测的类别标签，是卷积神经网络CNN中的Softmax层输出的类别标签为y的概率；(3)构建并训练卷积神经网络CNN：(3a)在现有AlexNet网络的基础上，增加了Eltwise1层、fc_a1层、fc_a2层、Eltwise2层，得到一个含有16个层卷积神经网络CNN，其中：该Eltwise1层用于将AlexNet网络中Conv3层与Conv4层的特征图对应位置进行融合；该fc_a1层用于将Eltwise1层特征图映射为特征向量；该fc_a2将AlexNet网络中Pool5层特征映射为特征向量；该Eltwise2层用于对fc_a1层、fc_a2层和Eltwise1层的特征图对应位置进行融合；(3b)将训练集中的每个CAD模型的多视角图像输入到卷积网络中，迭代卷积神经网络CNN的前向计算和反向传播训练神经网络，优化神经网络参数R，直到神经网络的损失函数J(θ)≤0.0001为止，得到训练好的神经网络CNN；(4)测试网络将ModelNet10测试集中每一个CAD模型的多视角图像输入到训练好的神经网络中，统计物体分类和姿态估计的精度。