[发明专利]音视频合成方法、服务器和可读存储介质

权利要求书

1.一种音视频合成方法，其特征在于，所述方法包括：

获取目标用户在进行录唱行为时的音频数据和视频数据；所述视频数据中包括所述目标用户的动作行为；

提取所述视频数据中所述目标用户的用户特征数据，并基于所述用户特征数据生成三维动画数据；所述用户特征数据表征所述目标用户的外在形态特征；所述三维动画数据表征对应于所述目标用户的虚拟动画人物在模拟所述动作行为时的动画数据；

基于所述音频数据和所述三维动画数据进行音频-视频合成，得到针对于所述录唱行为的音乐动画视频。

2.根据权利要求1所述的方法，其特征在于，所述用户特征数据包括所述目标用户的人体特征、面部特征和手部特征；所述提取所述视频数据中所述目标用户的用户特征数据，并基于所述用户特征数据生成三维动画数据，包括：

在所述视频数据的多个视频帧中，提取所述目标用户的人体特征、面部特征和手部特征；

基于所述人体特征进行三维人体建模，得到针对所述虚拟动画人物的虚拟人体模型；所述虚拟人体模型用于表征所述虚拟动画人物在模拟所述多个视频帧中的所述动作行为时的人体形态；以及

基于所述面部特征进行三维人脸建模，得到针对所述虚拟动画人物的虚拟人脸模型；所述虚拟人脸模型用于表征所述虚拟动画人物在模拟所述多个视频帧中的所述动作行为时的面部形态；以及

基于所述手部特征进行三维手部建模，得到针对所述虚拟动画人物的虚拟手部模型；所述虚拟手部模型用于表征所述虚拟动画人物在模拟所述多个视频帧中的所述动作行为时的手部形态；

对所述虚拟人体模型、所述虚拟人脸模型和所述虚拟手部模型进行模型融合，生成所述三维动画数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述人体特征进行三维人体建模，得到针对所述虚拟动画人物的虚拟人体模型，包括：

基于所述人体特征对待建模的虚拟人体模型进行人体形态预测，得到预测人体形态序列；在所述预测人体形态序列中包括对应于所述多个视频帧的多个预测人体形态参数，所述预测人体形态参数包括预测形状参数和预测姿态参数；

基于预设的真实人体形态序列对所述预测人体形态序列进行调整，得到与所述真实人体形态序列之间的差异程度小于预设程度的修正人体形态序列；

基于所述修正预测人体形态序列生成所述虚拟人体模型。

4.根据权利要求2所述的方法，其特征在于，所述面部特征包括人脸外轮廓特征和人脸五官特征；

所述基于所述面部特征进行三维人脸建模，得到针对所述虚拟动画人物的虚拟人脸模型，包括：

基于所述人脸外轮廓特征和所述人脸五官特征进行三维人脸重建，得到人脸形态序列；所述人脸姿态序列表征所述虚拟动画人物在模拟所述多个视频帧中的所述动作行为时的人脸形状和人脸姿态；以及

基于所述人脸外轮廓特征和所述人脸五官特征对所述多个视频帧中所述目标用户的人脸图像进行融合形变处理，得到人脸表情序列；所述融合形变处理用于将所述目标用户的人脸表情改变为所述虚拟动画人物的人脸表情；

对所述人脸形态序列和所述人脸表情序列进行融合，并利用融合得到的人脸形态-人脸表情序列生成所述虚拟人脸模型。

5.根据权利要求2所述的方法，其特征在于，所述基于所述手部特征进行三维手部建模，得到针对所述虚拟动画人物的虚拟手部模型，包括：

基于所述手部形态特征对所述多个视频帧中所述目标用户的手部图像进行手部节点定位，确定针对所述虚拟动画人物的手部主体坐标和手部关节坐标；

基于所述手部主体坐标和所述手部关节坐标，确定所述虚拟动画人物在模拟所述多个视频帧中的所述动作行为时的手指弯曲程度；

基于所述手指弯曲程度对所述虚拟动画人物进行手势预测，得到预测手势序列，并利用所述预测手势序列生成所述虚拟手型模型。