[发明专利]单目3D动作捕捉方法、系统以及终端

权利要求书

1.一种单目3D动作捕捉方法，其特征在于，所述方法包括：

对输入的由单目相机采集的视频数据以及人体模板数据进行预处理，以获得整体输入数据；其中，所述整体输入数据包括：初始嘈杂骨骼运动图以及置信度信息；

将所述整体输入数据输入利用稀疏多视图参考以及光学标记参考的混合运动推理模型，并输出对应的骨骼运动提升图；

基于运动优化算法，根据所述骨骼运动提升图、视频数据、置信度信息以及人体模板数据获得3D动作捕捉结果。

2.根据权利要求1中所述的单目3D动作捕捉方法，其特征在于，所述对输入的由单目相机采集的视频数据以及人体模板数据进行预处理包括：

基于所述视频数据以及扫描获得的人体模板数据，获得包含2D关键点信息的初始嘈杂骨骼运动图以及置信度信息，以合并获得所述整体输入数据。

3.根据权利要求1中所述的单目3D动作捕捉方法，其特征在于，所述混合运动推理模型由训练数据集训练获得；其中，所述训练数据集包括：对应60个人体挑战动作的多个训练样本；其中，每个训练样本包括：由14个校准摄像机的视频数据构成的稀疏多视图参考数据以及经光学标记的光学标记参考数据。

4.根据权利要求1或3中所述的单目3D动作捕捉方法，其特征在于，所述混合运动推理模型的网络结构采用生成对抗网络结构，且网络结构包括：

运动编解码器，用于根据输入的所述整体输入数据以及对应的稀疏多视图参考数据获得全局-局部运动细节数据；

运动判别器，连接所述运动编解码器，用于基于对应的光学标记参考数据，对所述全局-局部运动细节数据进行判别，以供所述运动编解码器输出判别合格的骨骼运动提升图。

5.根据权利要求4中所述的单目3D动作捕捉方法，其特征在于，所述运动编解码器包括：编码器、连接所述编码器的视觉注意力池化层以及连接所述视觉注意力池化层的解码器。

6.根据权利要求5中所述的单目3D动作捕捉方法，其特征在于，所述解码器采用有效跟踪结构；其中，所述有效跟踪结构由多个门控循环单元构成。

7.根据权利要求1中所述的单目3D动作捕捉方法，其特征在于，所述混合运动推理模型由混合运动推理损失函数优化获得；其中，

所述混合运动推理损失函数包括：对应优化所述所述运动编解码器的第一损失函数和对应优化所述运动判别器的第二损失函数；

并且其中，所述第一损失函数包括：稀疏视图损失项以及对抗损失项；所述第二损失函数包括：光学标记损失项以及对抗损失项。

8.根据权利要求1中所述的单目3D动作捕捉方法，其特征在于，所述运动优化算法由优化损失函数优化获得；其中，所述优化损失函数包括：弱监督损失项、2D损失项、时间平滑损失项以及轮廓损失项。

9.一种单目3D动作捕捉系统，其特征在于，所述系统包括：

数据预处理模块，对输入的由单目相机采集的视频数据以及人体模板数据进行预处理，以获得整体输入数据；其中，所述整体输入数据包括：初始嘈杂骨骼运动图以及置信度信息；

混合运动推理模块，连接所述数据预处理模块，用于将所述整体输入数据输入利用稀疏多视图参考以及光学标记参考的混合运动推理模型，并输出对应的骨骼运动提升图；

运动优化模块，连接所述混合运动推理模块以及数据预处理模块，用于基于运动优化算法，根据所述骨骼运动提升图、视频数据、置信度信息以及人体模板数据获得3D动作捕捉结果。

10.一种单目3D动作捕捉终端，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行如权利要求1至8中任一项所述的单目3D动作捕捉方法。