[发明专利]3D姿态估计方法、装置和计算机设备及存储介质

说明书

本申请提供了一种3D姿态估计方法、装置和计算机设备及存储介质，系统采集多帧连续的生物姿态2D图像，然后根据各个生物姿态2D图像解析得到生物姿态2D图像包含的生物在各帧生物姿态2D图像分别对应的各个关节点二维坐标。最后，将各帧生物姿态2D图像分别对应的各个关节点二维坐标以矩阵形式进行t个阶段的时序卷积运算，得到生物的各个关节点三维坐标，生成生物的3D姿态信息。本申请通过分析图像序列的长时序信息和短时序信息，从而得到不同尺度的时序信息，再将不同尺度的时序信息进行融合，从而准确得到图像中生物各个关节点的三维坐标，提高对图像中生物的3D姿态的识别精度。

技术领域

本申请涉及姿态识别技术领域，特别涉及一种3D姿态估计方法、装置和计算机设备及存储介质。

背景技术

现有的3D姿态估计算法主要分为两个种类：直接法和间接法，直接法是从2D图片直接暴力回归得到3D坐标；间接法是先获取2D信息，然后再转换为3D姿态。具体而言，直接法主要是建立了图像到3D坐标的端到端模型，能从图片中获取到丰富的信息，但并没有中间监督的过程，模型受图片的背景、光照和人的穿着影响较大，对于单一模型来说需要学习的特征较复杂。间接法的相关研究中，有一部分方法是让2D姿态网络和2D-3D姿态网络同时训练。这类方法不像直接法直接从图片中回归得到3D坐标，而是通过网络先得到2D信息（一般都会用heatmap作为2D信息）作为特征的中间表示，但这种方法需要复杂的网络结构和充足的训练样本。大部分方法则是直接使用预训练好的2D姿态网络得到2D骨架序列，然后将得到的2D坐标输入到3D姿态估计网络中。这种方法能得以很好地实现与流行，主要得益于目前的2D姿态估计较为成熟。这种方法可以减少模型在2D姿态估计上的学习压力；网络结构简单，也更轻量；训练快，占用显存少。但是，现有技术中所使用的的输入通常为单帧图片，而单帧图片所包含的姿态信息有限，从而导致最终识别所得的3D姿态信息准确度较低。

发明内容

本申请的主要目的为提供一种3D姿态估计方法、装置和计算机设备及存储介质，旨在解决现有3D姿态估计算法准确度较低的弊端。

为实现上述目的，本申请提供了一种3D姿态的估计方法，包括：

采集多帧连续的生物姿态2D图像；

根据各所述生物姿态2D图像解析得到所述生物姿态2D图像包含的生物在各帧所述生物姿态2D图像分别对应的各个关节点二维坐标；

将各帧所述生物姿态2D图像分别对应的各个关节点二维坐标以矩阵形式进行t个阶段的时序卷积运算，得到所述生物的各个关节点三维坐标，生成所述生物的3D姿态信息。

本申请还提供了一种3D姿态的获取装置，包括：

采集模块，用于采集多帧连续的生物姿态2D图像；

解析模块，用于根据各所述生物姿态2D图像解析得到所述生物姿态2D图像包含的生物在各帧所述生物姿态2D图像分别对应的各个关节点二维坐标；

识别模块，用于将各帧所述生物姿态2D图像分别对应的各个关节点二维坐标以矩阵形式进行t个阶段的时序卷积运算，得到所述生物的各个关节点三维坐标，生成所述生物的3D姿态信息。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。