[发明专利]一种基于图注意力时空卷积的3D姿态估计方法

说明书

本发明属于计算机视觉技术领域，具体为一种基于图注意力时空卷积的3D姿态估计方法。该3D姿态估计方法基于按照处理流程先后顺序分为前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块、后处理模块4部分的系统完成。前处理模块初步提取时域信息，然后通过切割图注意力时空卷积模块、补全图注意力时空卷积模块进一步提取时空域信息。本发明能充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息，同时能建立骨架序列时域上的长时依赖，提高了3D姿态估计的精确度。并且不需要原始视频帧的信息，减少计算量。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

技术领域

本发明属于计算机视觉领域，具体涉及一种利用图注意力时空卷积模块的3D姿态估计方法。

背景技术

2D-3D姿态估计是3D姿态估计领域中的热门研究方向，是上层任务(例如行人再识别、人机交互、行为识别等)的基础。3D姿态估计根据人体关键点的2D坐标预测出人体各关键点的3D坐标。在2D-3D领域，目前主要存在深度模糊和遮挡两个困难。深度模糊是指由于2D骨架丢失了深度信息，姿态估计模型难以推测2D骨架中各关键点距离镜头的真实距离。遮挡是指人体关键点可能相互遮挡，模型难以估计被遮挡关键点的深度信息。针对深度模糊与遮挡这两个困难，目前有的工作采用时域卷积抽取2D骨架序列的时域特征辅助生成关节点深度信息的方法，但是忽略了骨架关节点空间上的约束信息。有的工作采用将2D骨架序列当作一个时空图，直接进行图卷积同时抽取时空域信息辅助生成关键点深度信息的方法，但是这种方法难以抽取长时间范围的时域信息。也有的工作尝视抽取视频帧信息辅助深度信息的生成，但是却引入了额外的计算量，使得模型推理速度下降。

发明内容

本发明针对目前相关工作忽略骨架关键点间的约束信息，难以建立长时时域依赖，或是对视频帧进行计算，引入了额外的计算量，使得模型推理速度下降的情况提出了一种利用图注意力时空卷积模块的3D姿态估计方法，本发明方法充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息，同时建立骨架序列时域上的长时依赖，能提高3D姿态估计的精确度；本发明同时不需要原始视频帧的信息，能减少计算量，提高效率。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

本发明提供一种基于图注意力时空卷积的3D姿态估计方法，其基于包括前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块和后处理模块4部分的系统完成3D姿态估计；具体步骤如下：

(1)前处理模块对2D骨架序列做初步的时域信息抽取，包含卷积层和padding层，模块的输入是二维骨架序列INP-1，形状为(27,17,2)，处理过程如下：

①INP-1经过卷积核大小为3*1的卷积层处理，得到形状是(25,17,128)的骨架序列

②步骤①中结果输入补全层，复制骨架序列首尾骨架各一次，输出骨架序列PAD-1，形状为(27,17,128)；

(2)切割图注意力时空卷积模块提取骨架序列的时空域信息，该模块包含2个STGCN-S子模块STGCN-S-1，STGCN-S-2；其中：

STGCN-S-1子模块由切割层、空洞卷积层以及Graph Attention Block组成，该子模块输入是PAD-1，处理过程如下：

①对于PAD-1，采用Graph Attention Block进行处理，得到形状为(27,17,256)的骨架序列GA-1；

②将GA-1输入分割层，去除骨架序列首尾各3个骨架，得到形状为(21,17,256)的输出SL-1；

③将GA-1输入空洞卷积层，进行卷积核为3*1，空洞率为3的空洞卷积，结果经过BatchNorm 2D与Relu层处理，得到形状为(21,17,256)的输出；