[发明专利]包含动态背景的动画生成方法、装置及电子设备

说明书

本公开实施例中提供了一种包含动态背景的动画生成方法、装置及电子设备，属于数据处理技术领域，该方法包括：获取与目标对象的特定区域、第一元素及第二元素相关的重构模型；基于所述重构模型，确定与输入信息相关的特定区域的纹理特征、所述第一元素的动作以及所述第二元素的动作；在生成所述第一动画的同时，从预先设置的多个动画中动态选择与所述第一动画匹配的动画作为所述第一动画的背景动画；基于所述第一动画及所述背景动画，生成与所述输入信息相关的最终动画。通过本公开的处理方案，提高了生成图像的真实性。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种包含动态背景的动画生成方法、装置及电子设备。

背景技术

随着网络技术的发展，人工智能技术在网络场景中的应用得到了极大的提升。作为一个具体的应用需求，越来越多的网络环境中使用虚拟的人物进行交互，例如在网络直播中提供虚拟的主播对直播内容进行拟人化的播报，并为直播用于提供必要的引导，从而增强直播的临场感和交互性，提高了网络直播的效果。

表情模拟(例如，嘴型动作模拟)技术是人工智能技术的一种，目前实现表情模拟主要基于文本驱动、自然语音驱动和音视频混合建模方法来驱动人物的面部表情。例如，文本驱动的方式通常是TTS(Text to Speech，文-语转换)引擎将输入的文本信息转化为对应的音素序列、音素时长以及对应的语音波形，然后在模型库中选择对应的模型单元，通过平滑处理和相应的同步算法最终呈现出和输入文本内容相对应的语音和人脸表情动作。

现有技术中的表情模拟存在表情模拟单一、甚至失真的情况，更多的像是“机器人”在进行表演，表情动作的逼真度距离真实人物的表情还具有较大的差距。

发明内容

有鉴于此，本公开实施例提供一种包含动态背景的动画生成方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种包含动态背景的动画生成方法，包括：

获取与目标对象的特定区域、第一元素及第二元素相关的重构模型，所述特定区域属于所述目标对象的一部分，所述第一元素及第二元素位于所述特定区域内；

基于所述重构模型，确定与输入信息相关的特定区域的纹理特征、所述第一元素的动作以及所述第二元素的动作，所述特定区域的纹理特征、所述第一元素的动作以及所述第二元素的动作形成了与所述输入信息相关的第一动画；

在生成所述第一动画的同时，从预先设置的多个动画中动态选择与所述第一动画匹配的动画作为所述第一动画的背景动画；

基于所述第一动画及所述背景动画，生成与所述输入信息相关的最终动画。

根据本公开实施例的一种具体实现方式，获取与目标对象的特定区域、第一元素及第二元素相关的重构模型之前，所述方法还包括：

采集包含目标对象的多个图像，基于所述多个图像，训练与所述目标对象的特定区域、第一元素及第二元素相关的重构模型。

根据本公开实施例的一种具体实现方式，所述训练与所述目标对象的特定区域、第一元素及第二元素相关的重构模型，包括：

对所述多个图像上的特定区域进行检测，得到目标区域；

对所述目标区域进行3D重建，得到3D区域对象；

获取所述3D区域对象的三维网格，所述三维网格包含预设坐标值；

基于不同三维网格坐标上的像素值，确定所述特定区域的纹理图。

根据本公开实施例的一种具体实现方式，所述训练与所述目标对象的特定区域、第一元素及第二元素相关的重构模型，包括：

在所述多个图像上对所述第一元素进行特征点检测；