[发明专利]一种基于时空transformer的轻量级三维人体姿态估计方法及系统

说明书

本发明属于人体姿态估计领域，具体涉及一种基于时空transformer的轻量级三维人体姿态估计方法及系统，该方法获取待估计视频，将待估计视频输入到训练好的轻量级三维人体姿态估计模型，得到三维人体姿态序列结果，完成姿态估计；所述轻量级三维人体姿态估计模型包括二维姿态估计模块、时空编解码模块和主干网络时空transformer模块；本发明能够实现对原始输入数据进行压缩，降低时空transformer模型的计算量，同时保证高精度的推理。

技术领域

本发明属于人体姿态估计领域，具体涉及一种基于时空transformer的轻量级三维人体姿态估计方法及系统。

背景技术

人体姿态估计任务是经典的计算机视觉下游任务之一，人体姿态可以被描述为一个铰接体，即一个由一组通过关节连接的刚性关节点组成的集合，这些关节点允许在空间范围进行平移和旋转移动。因此，人体姿态估计是一个旨在在包含所有可能的关节姿态的空间中找到特定姿态的问题。其中三维人体姿态估计任务旨在从图像或视频序列中提取人体的三维坐标或坐标序列。三维人体姿态估计在医疗康复、游戏动画、机器仿生、智能家居等领域有着很重要的现实意义。传统的三维人体姿态估计使用动作捕捉(MOCAP)系统通过在采集环境中部署多个红外摄像头，再在受试人员的动作捕获服上放置多个传感器来捕获三维空间姿态信息，在室内受控的环境下进行动作采集，这导致了高昂的成本，并且难以进行户外环境的采集，因此如何从视频中直接估计三维人体姿态成为计算机视觉领域颇具挑战的任务。

现有的视频三维人体姿态估计算法大多基于两阶段模型：第一阶段从视频中逐帧估计二维人体姿态，第二阶段根据二维人体姿态序列估计三维人体姿态序列。由于第一阶段中的二维关键点检测技术已经比较成熟，所以三维人体姿态估计的重点为第二阶段。现有的基于两阶段的视频三维人体姿态估计方法按网络结构可以大致分为三类，基于时间卷积网络TCN的，基于图卷积网络GCN的和基于时空transformer结构的网络。由于三维人体姿态序列同时具有时间维度的信息和空间维度上关节点间的信息，故时空transformer结构更具优势。但时空transformer的模型较大，长视频序列输入会增加模型计算量和计算复杂度，此外，过于庞大的网络模型不利于移动端的部署也难以满足市场的需求。因此，如何在实现高精度值的同时降低计算量，是亟待解决的重要问题。

发明内容

为解决现有技术中存在的计算量大、计算复杂度高等问题，本发明提供了一种基于时空transformer的轻量级三维人体姿态估计方法及系统。

在第一方面，本发明提出了一种基于时空transformer的轻量级三维人体姿态估计方法，其包括获取待估计视频，将待估计视频输入到训练好的轻量级三维人体姿态估计模型，得到三维人体姿态序列结果，完成姿态估计；所述轻量级三维人体姿态估计模型包括预处理模块、时空编解码模块、时空下采样模块和主干网络时空transformer模块；

其中，轻量级三维人体姿态估计模型的训练过程包括以下步骤：

S1.获取原始视频数据，通过二维姿态估计器提取原始视频数据的二维人体关节点坐标序列，并采用预处理模块对二维人体关节点坐标序列进行预处理；

S2.采用时空编解码模块捕获预处理后的二维人体关节点坐标序列的时空关系，得到时空信息序列；

S3.构建自监督损失函数，对时空信息序列和预处理后的二维人体关节点坐标序列进行自监督损失计算；

S4.采用时空下采样模块对时空信息序列下采样得到稀疏二维人体关节点坐标序列；

S5.通过主干网络时空transformer模块对稀疏二维人体关节点坐标序列进行时空域依赖建模，并对时空域依赖建模结果升维得到三维姿态序列；

S6.将三维姿态序列与其对应原始视频的三维人体关节点序列标注信息进行损失求解，迭代训练直至收敛。

进一步的，对二维人体关节点坐标序列进行预处理的过程包括：