[发明专利]基于数据驱动的游戏人物人脸3D动画合成方法

摘要

本发明公开了一种基于数据驱动的游戏人物人脸3D动画合成方法，包括步骤（A），对关键帧图像和光流进行处理；步骤（B），对游戏人物的人脸组件拼接；步骤（C），对游戏人物图像序列拼接；步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成。本发明的基于数据驱动的游戏人物人脸3D动画合成方法，将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，在游戏人物发声的时间关系上，完成游戏人物人脸3D动画合成，方法巧妙，构思新颖，具有良好的应用前景。

主权项

1.基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：包括以下步骤，步骤（A），对关键帧图像和光流进行处理（A1），将游戏人物的发音器官状态分为16个基本静态视位，定义静态视位为视频的基本单位；（A2），建立一个包括所有基本静态视位的相互过渡的发音词库，该发音词库进行发音录像，利用真实的图像序列计算由每一个视位到其他视位过渡的光流，16个基本静态视位共计256组光流向量；（A3），在合成图像序列时，对于每个音位的关键图像采用16个基本静态视位，对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成；步骤（B），对游戏人物的人脸组件拼接（B1），将游戏人物的人脸结构划分为基本组成部件，将视频的基本单位定义为各基本组成部件的不同状态；（B2），在合成时，对每个音位根据其上、下运动过程的信息从数据库中选择出对应的基本组成部件，投影到当前的人脸框架上，并进行消除边缘效应处理，得到游戏人物的人脸；步骤（C），对游戏人物图像序列拼接（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列；（C2），利用隐马尔可夫模型从原始语音数据中切分出三音素，经过图像分析从原始图像中提取出嘴唇区域的三音素图像序列；（C3），合成时，从数据库中选择对应的三音素图像序列，在时间上的对接和图像上的淡入淡出处理，再缝合到当前的人脸框架上，形成新的图像序列；步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中；（D2），游戏人物的融入到当前环境的游戏人物人脸3D动画中，完成游戏人物人脸3D动画合成。