[发明专利]二维图形中目标三维关键点提取模型构建及姿态识别方法

说明书

本发明公开了一种二维图形中目标三维关键点提取模型构建及姿态识别方法，通过设计了三维关键点提取模型的网络结构，能够准确、直接输出目标三维关键点的坐标；通过设计的关键点损失函数，使网络利用无监督的方式自主学习提取具有语义一致性和几何一致性的关键点，提高了三维关键点提取的准确率。

技术领域

本发明涉及目标三维姿态识别方法，具体涉及一种二维图形中目 标三维关键点提取模型构建及姿态识别方法。

背景技术

目标三维姿态识别是指识别目标物体的三维位置和方向，是诸多 计算机视觉应用如增强现实、机器人控制以及无人驾驶任务中的关键 模块。但是目标三维姿态识别的基础是需要对目标物体的三维关键点 进行提取，在图像上找到物体的二维位置并且在物体上提取一些关键 点比如物体3D边框在图像上的投影，这些方法通过利用大量的监督 信息所以十分有效，但是在图像上标注三维信息的工作量巨大，并且 要求极高的专业知识及复杂的准备工作，而且这类方法无法处理带有 遮挡和复杂背景图像。

另外即使获得了目标的三维关键点后也无法准确地识别到目标 的三维姿态，因此现有技术中对二维图像中目标物体的三维姿态的获 取方法存在姿态获取准确率不高，工作量大，导致的实时性不高且鲁 棒性不高的问题。

发明内容

本发明的目的在于提供一种二维图形中目标三维关键点提取模 型构建及姿态识别方法，用以解决现有技术中对二维图像中目标物体 的三维关键点识别方法准确率不高，导致姿态识别准确率不高等问 题。

为了实现上述任务，本发明采用以下技术方案：

一种二维图形中目标三维关键点提取模型构建方法，按照以下步 骤执行：

步骤1、获取多个包含待识别目标的二维图像组，所述的二维图 像组中包括的两幅二维图像的区别在于图像采集角度不同；

获得训练图像集；

步骤2、将所述的训练图像集输入至神经网络中训练；

所述的神经网络包括特征提取子网络，所述的特征提取子网络分 别与关键点提取子网络以及目标检测子网络连接；

所述的特征提取子网络包括依次设置的特征图提取模块以及感兴 趣区域提取模块；

所述的目标检测子网络包括相互并联的目标分类模块以及包围盒 检测模块；

所述的关键点提取子网络包括串联的关键点概率获得模块以及关 键点输出模块；

所述的关键点概率获得模块用于获得每一个像素点是三维关键点 的概率；

所述的关键点输出模块利用式I获得每一个三维关键点的坐标：

其中[x_i,y_i]表示第i个三维关键点的坐标，i＝1,2,…,I，I为正整数， P_i(u,v)表示关键点概率计算子网络输出的二维图像中第(u,v)个像素 点是第i个三维关键点的概率，(u,v)为二维图像的坐标，u与v均为 正整数；

获得三维关键点提取模型。

进一步地，所述的特征图提取模块包括依次设置的特征金字塔网 络以及残差网络；所述的感兴趣区域提取模块包括区域生成网络。

进一步地，所述的关键点概率获得模块包括依次串联的多个卷积 块、上采样层以及softmax层；

所述的卷积块包括依次连接的卷积层和ReLU激活层。

进一步地，所述的三维关键点提取模型的损失函数L为：