[发明专利]用于虚拟动画人物动作的数据处理方法及装置

说明书

本申请公开了一种用于虚拟动画人物动作的数据处理方法及装置。该方法包括获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。本申请解决了对于虚拟人物动作的处理效果较差的技术问题。本申请将计算机视觉技术与虚拟动画人物软件相结合，提供了可生成虚拟动画人物动作的仿真视频文件。

技术领域

本申请涉及计算机视觉领域，具体而言，涉及一种用于虚拟动画人物动作的数据处理方法及装置。

背景技术

人体姿态估计是在图像或视频中检测人物的计算机视觉技术，比如，可以估计待测图像中人物身体关键关节的位置。

发明人发现，通常在实现让动画虚拟人物跟随目标真实人物做相应动作时，由于采用人体姿态估计进行预处理时，获得的关键关节位置处理效果较差，进一步影响执行相应动作的执行效果。

针对相关技术中对于虚拟人物动作的处理效果较差的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种用于虚拟动画人物动作的数据处理方法及装置，以解决对于虚拟人物动作的处理效果较差的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于虚拟动画人物动作的数据处理方法。

根据本申请的用于虚拟动画人物动作的数据处理方法包括：获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。

进一步地，获取视频图像数据中人体骨骼二维图像关键点包括：配置用于二维图像关键点检测的第一预设模型；将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点；所述配置用于二维图像关键点检测的第一预设模型包括：配置已经过训练的Open pose模型；所述将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：将获取的视频输入所述Open pose模型，输出人体骨骼二维图像关键点。

进一步地，将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：配置用于三维图像关键点检测的第二预设模型；将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点；所述配置用于三维图像关键点检测的第二预设模型包括：配置3d-pose-baseline模型；所述将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点包括：将Open pose模型的输出结果输入所述3d-pose-baseline模型，通过保留对应关节、舍去多余关节或对缺失关节平滑处理后输出转化结果得到三维图像中的人体骨骼关键点。

进一步地，通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据包括：配置用于单目图像深度估计的第三预设模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据；配置用于单目图像深度估计的第三预设模型包括：配置FCRN-DepthPrediction模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据包括：将获取的视频数据再次输入FCRN-DepthPrediction模型，生成按照预设人体臀部位置为中心的深度估计数据。