[发明专利]3D姿态重建方法、装置和计算机设备

说明书

本申请涉及一种3D姿态重建方法、装置和计算机设备。所述方法包括：获取多视角图像；通过图像处理模型，得到各视角图像的第一关节点特征图；根据所述关节点置信度过滤所述第一关节点特征图中不符合要求的关节点，得到各视角图像的第二关节点特征图；对所述第二关节点特征图中各姿态的关节点进行匹配，得到所述视角图像中姿态的相似度以及各视角图像的所述第二关节点特征图的相似度；根据所述视角图像中姿态的相似度以及各视角图像的所述第二关节点特征图的相似度，得到不同视角图像中的匹配姿态；根据预设相机参数及所述不同视角图像中的匹配姿态，进行3D姿态重建。采用本方法能够提高3D姿态重建准确性。

技术领域

本申请涉及图像领域，特别是涉及一种3D姿态重建方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着社会的发展和进步，人体行为识别技术在社会中承担的角色越来越重要，并具有广泛的应用场景。三维人体姿态重建和动作识别是目前计算机视觉领域研究中的一个热点，其目的是通过各种图像处理和识别分类技术对视频中的动作进行提取和分析，合理的构建完整的三维人体姿态。

目前，现有一种mvpose算法，其基于普通视频图像的运动捕捉，通过二维图像人形检测提取关节点在二维图像中的坐标，再根据多相机视觉三维测量计算关节点的三维空间坐标。

但是，Mvpose算法的重建效果并不理想，三维姿态重建不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高3D姿态重建准确性的3D姿态重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种3D姿态重建方法。所述方法包括：

获取多视角图像；

将各视角图像通过图像处理模型，得到各视角图像的第一关节点特征图；所述关节点特征图包括多个关节点、关节点置信度和姿态；

根据所述关节点置信度过滤所述第一关节点特征图中不符合要求的关节点，得到各视角图像的第二关节点特征图；

对所述第二关节点特征图中各姿态的关节点进行匹配，得到所述视角图像中姿态的相似度以及各视角图像的所述第二关节点特征图的相似度；

根据所述视角图像中姿态的相似度以及各视角图像的所述第二关节点特征图的相似度，得到不同视角图像中的匹配姿态；

获取预设相机参数，根据所述预设相机参数及所述不同视角图像中的匹配姿态，进行3D姿态重建。

在其中一个实施例中，所述对所述第二关节点特征图中各姿态的关节点进行匹配，得到所述视角图像中姿态的相似度以及各视图图像的所述第二关节点特征图的相似度包括：

将同一视角的所述第二关节点特征图中姿态的相似度设置为0；

对所述第二关节点特征图中各姿态的关节点进行匹配，确定匹配关节点；

将所述匹配关节点通过极线搜索，得到所述视角图像中姿态的相似度；

根据所述视角图像中姿态的相似度，确定各视图图像的所述第二关节点特征图的相似度。

在其中一个实施例中，所述将匹配的关节点通过极线搜索，得到所述视角图像中姿态的相似度包括：

将所述匹配关节点通过极线搜索，得到各视角图像的极线输出向量；

根据所述极线输出向量，得到匹配的各视角图像像素块；

计算匹配的各视角图像像素块的相似度，得到所述视角图像中姿态的相似度。

在其中一个实施例中，所述对所述第二关节点特征图中各姿态的关节点进行匹配，确定匹配关节点的步骤之前，所述方法还包括：