[发明专利]一种视频生成方法、装置、服务器及存储介质

说明书

本申请实施例公开了一种视频生成方法、装置、服务器及存储介质，其中方法包括：获取人声音频数据，并获取目标对象的人脸图像；根据所述人声音频数据生成模拟人脸表情参数，并根据所述人脸图像生成所述目标对象的三维人脸参数；根据所述模拟人脸表情参数和所述三维人脸参数生成所述目标对象的初始动态人脸视频；根据所述人声音频数据对所述初始动态人脸视频中的人脸唇形进行修正，得到目标动态人脸视频；所述目标动态人脸视频中的人脸唇形与所述人声音频数据中的人声内容相对应。可以产生具有逼真视觉与听觉效果的动态人脸视频。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种视频生成方法、装置、服务器及存储介质。

背景技术

随着计算机技术的快速发展，计算机视觉在日常的生活、工作、学习中得到了越来越多的应用。例如，目前在网络上也存在大量的合成视频，这种合成视频可以是基于一段语音和人脸图像而生成的人脸表情视频。但是，目前在通过语音以及人脸图像来合成人脸表情视频时，通常只关注于人脸的嘴部运动，而人脸的整体表情与语音内容的同步效果较差，而只有嘴部运动的人脸是比较僵硬的，这就导致所合成的人脸表情视频的视频效果较差。因此，如何合成一个较逼真的人脸表情视频成为了当前计算机视觉技术的研究热点问题。

发明内容

本申请实施例提供了一种视频生成方法、装置、服务器及存储介质，可以使动态人脸视频在表情和唇形两个维度达到较优效果，产生具有逼真视觉与听觉效果的动态人脸视频。

本申请实施例第一方面公开了一种视频生成方法，所述方法包括：

获取人声音频数据，并获取目标对象的人脸图像；

根据所述人声音频数据生成模拟人脸表情参数，并根据所述人脸图像生成所述目标对象的三维人脸参数；

根据所述模拟人脸表情参数和所述三维人脸参数生成所述目标对象的初始动态人脸视频；

根据所述人声音频数据对所述初始动态人脸视频中的人脸唇形进行修正，得到目标动态人脸视频；所述目标动态人脸视频中的人脸唇形与所述人声音频数据中的人声内容相对应。

本申请实施例第二方面公开了一种视频生成装置，所述装置包括：

获取单元，用于获取人声音频数据，并获取目标对象的人脸图像；

第一生成单元，用于根据所述人声音频数据生成模拟人脸表情参数，并根据所述人脸图像生成所述目标对象的三维人脸参数；

第二生成单元，用于根据所述模拟人脸表情参数和所述三维人脸参数生成所述目标对象的初始动态人脸视频；

修正单元，用于根据所述人声音频数据对所述初始动态人脸视频中的人脸唇形进行修正，得到目标动态人脸视频；所述目标动态人脸视频中的人脸唇形与所述人声音频数据中的人声内容相对应。

本申请实施例第三方面公开了一种服务器，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

本申请实施例第四方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本申请实施例第五方面公开了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述服务器执行上述第一方面的方法。