[发明专利]动作捕捉方法、装置及服务器

权利要求书

1.一种动作捕捉方法，其特征在于，应用于计算机设备，所述计算机设备与图像采集装置连接，所述方法包括：

获取所述图像采集装置采集的目标直播对象的动作视频流，并识别出所述动作视频流中每个动作视频帧对应的二维关节点姿态数据；

基于所述二维关节点姿态数据预测对应的三维运动姿态数据和骨骼根节点坐标；

基于所述三维运动姿态数据和骨骼根节点坐标控制直播界面中的虚拟形象执行对应的动作。

2.根据权利要求1所述的动作捕捉方法，其特征在于，所述基于所述二维关节点姿态数据预测对应的三维运动姿态数据和骨骼根节点坐标的步骤，包括：

将预设动作视频帧数的二维关节点姿态数据分别输入到三维运动姿态预测模型和骨骼根节点预测模型中，通过所述三维运动姿态预测模型预测对应的三维关节点坐标，通过所述骨骼根节点预测模型预测对应的骨骼根节点坐标；

将所述三维关节点坐标由相机坐标系转换到世界坐标系，获得转换三维关节点坐标；

对所述转换三维关节点坐标进行四元数映射，得到前后动作视频帧的关节点运动的四元数信息，作为所述对应的三维运动姿态数据。

3.根据权利要求1所述的动作捕捉方法，其特征在于，所述基于所述三维运动姿态数据和骨骼根节点坐标控制直播界面中的虚拟形象执行对应的动作的步骤，包括：

基于所述三维运动姿态数据和骨骼根节点坐标对所述直播界面中的虚拟形象进行运动轨迹回归，获得运动轨迹回归数据；

基于所述运动轨迹回归数据控制所述虚拟形象执行与所述目标直播对象对应的动作。

4.根据权利要求2所述的动作捕捉方法，其特征在于，所述方法还包括：

获取训练样本数据集，所述训练样本数据集包括多个训练样本数据，每个训练样本包括样本视频帧的二维关节点姿态样本数据、三维关节点样本坐标以及骨骼根节点样本坐标；

基于预设相机参数信息对每个训练样本进行预处理，生成二进制训练样本数据；

基于所述二进制训练样本数据对初始三维运动姿态预测模型和初始骨骼根节点预测模型进行训练，输出训练获得的三维运动姿态预测模型和骨骼根节点预测模型。

5.根据权利要求4所述的动作捕捉方法，其特征在于，所述获取训练样本数据集的步骤，包括：

分别从不同的预设采集视角、预设背景以及不同动作姿态采集直播对象的样本视频帧的二维关节点姿态样本数据、三维关节点样本坐标以及骨骼根节点样本坐标，作为所述训练样本数据集。

6.根据权利要求4所述的动作捕捉方法，其特征在于，所述基于预设相机参数信息对每个训练样本进行预处理，生成二进制训练样本数据的步骤，包括：

根据所述图像采集装置在世界坐标系中的位置信息和预设装置参数信息对每个训练样本进行坐标预处理；

从坐标预处理后的每个训练样本中删除冗余二维关节点姿态样本数据以及冗余二维关节点姿态样本数据对应的三维关节点样本坐标。