[发明专利]基于辅助标识的深度学习目标识别及定位方法

摘要

本发明涉及一种基于辅助标识的深度学习目标识别及定位方法,包括:步骤1、设计图案的优选策略，优选出可分类性强的图案；步骤2、确定大型物体的位置姿态；步骤3、利用优选图案识别小目标；步骤4、通过组合图案类别，拓展可识别类别数量。本发明考虑到深度学习方法用于目标检测时无法准确得到目标位置，将深度学习和双目视觉相结合，利用深度学习优秀的识别能力和鲁棒性，以及双目视觉定位准确的特点，最终实现优于传统方法的目标准确识别与定位。此外在环境中引入图案不同于传统人工标识方法，不会影响环境的美观性。

主权项

1.一种基于辅助标识的深度学习目标识别及定位方法，其特征在于：包括以下步骤：步骤1：设计图案的优选策略，选出可分类性强的图案，利用卷积神经网络，在图案中优选出有限图案子集，具体过程为：将多种不同的图案送入卷积神经网络训练，假定分类N类，网络的最终输出层有N个节点、分别代表该图案属于每一类的概率,此概率是由网络倒数第二层全连接层经过softmax回归得到的，Softmax函数为：式(1)中x表示网络的输出属于每一个类别的概率，hi(x)表示经过回归后第i个样本属于每一类的概率；改变网络的输出位置,采用回归前的向量输出做为评价函数入口，设计评价函数，具体为：假定选定图案集类别数量为N，网络包括N+1个输出，前N个输出一一对应各个图案的概率，第N+1类表示背景即非图案区的概率，假定当前输入样本的实际类别编号为r，设计评价函数如下：式(2)中N为总类别数，pi代表输出矢量的第i个分量，pr为输出矢量中正确类别的分量，K为评价函数的计算分数；采用三维透视变换模拟训练图片集，通过更改背景颜色近似模拟背景变化，亮度变换模拟光照变化，图案的缩放模拟距离的变化；随机选取图案之外的其它图像区域作为背景图片，做为最后一类输入卷积网络；完成在初始图案集中优选出N类作为优选图案集；步骤2：确定大型物体的位置姿态，将优选出的图案粘贴在大型物体上，通过将深度学习和双目视觉相结合，实现大型物体位置姿态的辅助计算，具体过程为：通过训练网络首先对大型物体本身进行检测和分类，以左目大型物体的检测框做模板，利用模板匹配法在右目中找到该大型物体的对应位置，左右目中位置框的中心点代表大型物体在图像中的坐标，其差值即视差，根据相机内参数，利用公式(3)计算大型物体与相机的近似距离：式中B为两镜头的基线距离即基线距离，f为相机焦距，D为同一点在左右目中的坐标之差,Z为深度，x1为图案在左目图像中横坐标，x2为图案在右目图像中横坐标；当视觉系统接近目标并能识别目标上的图案时，依据图案计算目标的准确位置及姿态：首先通过深度学习在相机左目中找到图案的建议框，通过模板匹配，在右目中找到对应的图案建议框，设两个图案建议框中心点分别为A和B。利用公式(3)可以得到A到相机的垂直距离d1和B点到相机的垂直距离d2，又已知两个图案中心点AB间的实际距离d，利用公式(4)可计算出桌子间的姿态,式中γ为求解出的目标姿态：步骤3：利用优选图案识别小目标：利用步骤1优选出的N种图案，N为50以内整数，在小物体上粘贴图案，根据图案编号查找对应关系，确定出场景中其他物体的类别；步骤4：通过组合图案类别，拓展可识别类别数量：通过多个图案的组合，获得指数倍的图案类别，根据不同图案的组合列写出编码表并确定物体类别。