[发明专利]二维图形中目标三维关键点提取模型构建及姿态识别方法

权利要求书

1.一种二维图形中目标三维关键点提取模型构建方法，其特征在于，按照以下步骤执行：

步骤1、获取多个包含待识别目标的二维图像组，所述的二维图像组中包括的两幅二维图像的区别在于图像采集角度不同；

获得训练图像集；

步骤2、将所述的训练图像集输入至神经网络中训练；

所述的神经网络包括特征提取子网络，所述的特征提取子网络分别与关键点提取子网络以及目标检测子网络连接；

所述的特征提取子网络包括依次设置的特征图提取模块以及感兴趣区域提取模块；

所述的目标检测子网络包括相互并联的目标分类模块以及包围盒检测模块；

所述的关键点提取子网络包括串联的关键点概率获得模块以及关键点输出模块；

所述的关键点概率获得模块用于获得每一个像素点是三维关键点的概率；

所述的关键点输出模块利用式I获得每一个三维关键点的坐标：

其中[x_i,y_i]表示第i个三维关键点的坐标，i＝1,2,…,I，I为正整数，P_i(u,v)表示关键点概率计算子网络输出的二维图像中第(u,v)个像素点是第i个三维关键点的概率，(u,v)为二维图像的坐标，u与v均为正整数；

获得三维关键点提取模型。

2.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的特征图提取模块包括依次设置的特征金字塔网络以及残差网络；所述的感兴趣区域提取模块包括区域生成网络。

3.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的关键点概率获得模块包括依次串联的多个卷积块、上采样层以及softmax层；

所述的卷积块包括依次连接的卷积层和ReLU激活层。

4.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的三维关键点提取模型的损失函数L为：

其中，表示所有负样本的分类损失函数之和，表示所有正样本的目标分类损失函数L_class、包围盒检测损失函数L_box以及关键点检测损失函数L_keypoints之和，β、γ均大于0；

所述的负样本为感兴趣区域提取模块提取出的感兴趣区域不包含目标的二维图像；所述的正样本为感兴趣区域提取模块提取出的感兴趣区域包含目标的二维图像；

其中关键点检测损失函数其中L_dis为显著性损失函数，L_dep为深度预测损失函数，L_con为三维一致性损失函数，L_sep为分离损失函数，L_pose为相对姿态估计损失函数，τ、ε、μ、均大于0。

5.如权利要求4所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的β，γ，τ，ε，μ，均为1，δ为0.08。

6.一种二维图形中目标三维关键点提取方法，其特征在于，按照以下步骤执行：

步骤A、采集包含待识别目标的二维图像，获得待识别图像；

步骤B、将所述的待识别图像输入至权利要求1-5任一项权利要求所述的二维图形中目标三维关键点提取模型构建方法构建出的三维关键点提取模型中，获得待识别目标的三维关键点集，所述的三维关键点集中包括Q个三维关键点，Q为正整数。

7.一种二维图形中目标三维姿态识别方法，用于获得二维图像中目标的三维姿态矩阵，其特征在于，按照以下步骤执行：

步骤I、获取包含待识别目标的二维图像，获得待识别图像；

步骤II、采用权利要求6所述的二维图形中目标三维关键点提取方法获得待识别图像中待识别目标的三维关键点集；

步骤III、计算待识别图像中待识别目标的三维关键点集与参考图像库中每个图像的三维关键点集之间的距离；

所述的参考图像库包括多幅参考图像以及每幅参考图像的信息，每幅参考图像的信息包括对每幅参考图像采用权利要求6所述的二维图形中目标三维关键点提取方法获得每幅参考图像的三维关键点集以及每幅参考图像中目标的三维姿态矩阵；

将距离最小的三维关键点集对应的图像作为对比图像，获得对比图像的三维关键点集以及对比图像中目标的三维姿态矩阵；

步骤IV、将待识别目标的三维关键点集中每个三维关键点坐标减去待识别目标的三维关键点集质心的坐标后，获得新的待识别目标的三维关键点集；

将对比图像的三维关键点集中每个三维关键点坐标减去对比图像的三维关键点集质心的坐标后，获得新的对比图像的三维关键点集；

步骤V、利用奇异值分解法对进行分解，获得旋转矩阵R；

其中，X'_n为新的待识别目标的三维关键点集中第n个点的坐标，P'_n为新的对比图像的三维关键点集中第n个点的坐标，N_P为新的待识别目标的三维关键点集或新的对比图像的三维关键点集中三维关键点的总数；

步骤VI、获得姿态矩阵T＝[R|t]，其中t＝μ_X-Rμ_P，μ_X为新的待识别目标的三维关键点集的平均坐标，μ_P新的对比图像的三维关键点集的平均坐标；

步骤VII、采用式III获得待识别图像中待识别目标的三维姿态矩阵T_input：

T_input＝T·T_ref 式III

其中T_ref为对比图像中目标的三维姿态矩阵。