[发明专利]一种利用轮廓信息的6D位姿估计方法

权利要求书

1.一种利用轮廓信息的6D位姿估计方法，其特征在于，包括以下步骤：

S1：基于卷积神经网络设计目标物体6D位姿估计网络，包含网络共享层、轮廓预测分支和边界框预测分支；

网络共享层由卷积层和池化层组成，用于提取图片中目标物体特征，得到特征图；

轮廓预测分支由上采样层和卷积层组成，每次上采样之后得到的特征图和网络共享层中相同尺度的特征图拼接得到新的特征图，并作为下一个卷积层的输入；

边界框预测分支由一系列全卷积网络以及一个直连层组成，此分支将输入图片划分为S×S个网格，每个网格对应图片中32×32的区域，每个网格输出包含代表3D边界框的9个关键点投影坐标、类别概率，预测框的置信度；边界框预测分支输出维度大小为S×S×D的张量，其中D＝(9×2+N+1)，N代表目标物体的类别个数，9个关键点为3D边界框的顶点和边界框的中心；

S2：采用不同背景、角度和姿态的目标物体图片作为训练样本以构建训练集，对训练样本进行数据增强，以及轮廓信息标注、分类信息标注和位姿信息标注；

S3：使用步骤S2构建的训练集对目标物体6D位姿估计网络进行训练，通过最小化设计的损失函数优化网络参数，当训练次数达到预设次数时，停止训练并得到6D位姿估计网络模型；

S4：调用S3得到的6D位姿估计网络模型对目标物体图片进行预测，得到目标物体关键点的二维投影坐标；

S5：利用S4中目标物体预测关键点的投影坐标和目标物体的CAD模型关键点三维坐标，通过EPnP算法计算目标物体相对于相机的位姿；

步骤S3中所设计的损失函数包括几何约束损失函数、轮廓预测损失函数、关键点坐标误差函数、置信度损失函数和类别预测损失函数，具体是：

几何约束损失函数公式：

其中λ_edge为几何约束损失函数的权值，l_ij为预测边界框的边长，为预测框第i组的四个对应边的平均长度；

轮廓预测损失函数：

其中λ_mask为轮廓预测损失函数的权值，w为输入图片的宽度像素值，h为输入图片的高度像素值，p为预测像素为目标物体的概率，为标注值；

关键点坐标误差函数：

其中λ_pc为关键点坐标误差函数的权值，S²为输入图片划分的网格的数目，x,y为预测坐标值，为标注坐标值，表示目标物体的中心落在第i个网格中；

置信度损失函数：

其中λ_obj为置信度损失函数的权值，C为预测置信度，为预测边界框与标注边界框计算得到的置信度，表示目标物体的中心落在第i个网格中，表示目标物体的中心未落在第i个网格中；

类别预测损失函数：

其中λ_id为类别预测损失函数的权值，p(c)为网络预测类别概率，为标注类别；

整体损失函数：L＝L_edge+L_mask+L_pc+L_conf+L_id。

2.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法，其特征在于，目标物体6D位姿估计网络中轮廓预测分支最后一层采用Sigmoid函数，其余非线性激活函数均使用Relu函数，每个卷积层均合并了批归一化层。

3.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法，其特征在于，在步骤2中，轮廓信息以二维张量标注，以区分目标物体和背景，轮廓信息张量的维度与网络输入图片相同；分类信息以数字标注，不同类别的物体以不同大小的整数标注；位姿信息以目标物体的3D边界框的8个顶点和1个中心点标注。