[发明专利]用于生成动画的方法、装置、设备以及存储介质

说明书

本申请公开了用于生成动画的方法、装置、设备以及存储介质，涉及增强现实技术、动画和深度学习领域。具体实现方案为：获取人脸图像集合以及与人脸图像集合匹配的音频；对人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；根据预先训练的嘴部信息确定模型以及音频，确定人脸对象的嘴部信息，其中，嘴部信息确定模型用于表征音频与嘴部信息的对应关系；融合第一表情信息以及嘴部信息，确定第二表情信息；基于头部姿态信息以及第二表情信息，生成动画。本实现方式可以使得得到的动画更加逼真流畅，提高了嘴部遮挡情况下的稳定性。

技术领域

本申请涉及计算机技术领域，具体涉及增强现实技术、动画和深度学习领域，尤其涉及用于生成动画的方法、装置、设备以及存储介质。

背景技术

人脸动画在多模态人机交互、电影制作、电脑游戏、视频会议、虚拟主持人等方面得到了越来越多的应用。人脸动画需要实时通过人脸表情信息来驱动人脸混合形状变形。人脸表情信息的提取人脸动画驱动技术的关键环节，只有准确捕捉人脸表情才能使人脸混合形状驱动的人脸模型更加生动逼真。

目前的人脸通过驱动方法是以图像为输入，在提取人脸稀疏关键点的基础上，通过求解预定的各个表情的全局最佳匹配来获取人脸表情信息。由于个体人脸差异导致全局最佳匹配难以达到，导致人脸稀疏关键点的提取存在误差。

发明内容

提供了一种用于生成动画的方法、装置、设备以及存储介质。

根据第一方面，提供了一种用于生成动画的方法，包括：获取人脸图像集合以及与人脸图像集合匹配的音频；对人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；根据预先训练的嘴部信息确定模型以及音频，确定人脸对象的嘴部信息，其中，嘴部信息确定模型用于表征音频与嘴部信息的对应关系；融合第一表情信息以及嘴部信息，确定第二表情信息；基于头部姿态信息以及第二表情信息，生成动画。

根据第二方面，提供了一种用于生成动画的装置，包括：获取单元，被配置成获取人脸图像集合以及与人脸图像集合匹配的音频；第一确定单元，被配置成对人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；第二确定单元，被配置成根据预先训练的嘴部信息确定模型以及音频，确定人脸对象的嘴部信息，其中，嘴部信息确定模型用于表征音频与嘴部信息的对应关系；融合单元，被配置成融合第一表情信息以及嘴部信息，确定第二表情信息；生成单元，被配置成基于头部姿态信息以及第二表情信息，生成动画。

根据第三方面，提供了一种用于生成动画的电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据本申请的技术解决了现有的人脸表情信息不准确的问题，通过利用人脸图像和与人脸图像匹配的音频，分别提取人脸的表情信息和嘴部信息，并融合表情信息和嘴部信息，使得得到的动画更加逼真流畅，提高了嘴部遮挡情况下的稳定性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于生成动画的方法的一个实施例的流程图；

图3是根据本申请的用于生成动画的方法的一个应用场景的示意图；