[发明专利]端到端即文本到视频的视频合成方法、系统介质及应用

说明书

本发明属于图像数据处理技术领域，公开了一种端到端即文本到视频的视频合成方法、系统、介质及应用，包括：构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；利用GAN网络进行视频合成。本发明效率更高，资源占用更低。

技术领域

本发明属于图像数据处理技术领域，尤其涉及一种端到端即文本到视频的视频合成方法、系统、介质及应用。

背景技术

目前，新闻已经走进人们的日常生活，读新闻、听新闻、看新闻，已经成为人们获取外部信息的重要手段。随着信息传播技术的迅猛发展，以及互联网的普及，除了传统广播、电视，人们可以快速方便地通过互联网获取内容丰富、种类多样、时效性更强的新闻。

目前，由于看新闻已成为人们获取外部信息的重要手段之一，因此，人们对看新闻的视频内容也有了越来越高的时效性要求。

但是，现有的媒体新闻播报视频的制作需要真人主播熟悉稿件、读稿录制、审查勘误、后期编辑等，需要数小时消耗，效率不高，且质量很难保证。

通过上述分析，现有技术存在的问题及缺陷为：现有的媒体新闻播报视频的制作效率不高，且质量很难保证。

解决以上问题及缺陷的难度为：很大，传统视频录制及后期制作效率较低，新闻播报视频产出存在严重的时间滞后性。真人主播需要熟悉稿件，在读稿录制的过程中，难免出现失误造成整段视频的重新录制或剪辑，录制效率低。

解决以上问题及缺陷的意义为：本发明用多项人工智能技术，极大地提高了播报视频的产出效率，降低了企业在播报视频制作上的人力成本及时间成本。

发明内容

针对现有技术存在的问题，本发明提供了一种端到端即文本到视频的视频合成方法、系统、介质及应用。

本发明是这样实现的，一种端到端即文本到视频的视频合成方法，所述端到端即文本到视频的视频合成方法包括：

步骤一，构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成。生成的音频是后续步骤的基础，据此驱动了人脸模型的唇部动作；

步骤二，采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像。基于输入2维人脸图像重构3维立体人脸，提供步骤三中所需的3D人脸；

步骤三，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测。基于步骤一合成的音频和步骤二重构的3维立体人脸，捕捉嘴唇位置并通过音频驱动，生成包含唇部动作信息的局部数组；

步骤四，基于步骤三中生成的局部数组，利用GAN网络进行视频合成。

进一步，步骤四中，所述利用GAN网络进行视频合成包括：利用GAN网络生成模型和判别模型进行互相博弈学习，对每次对生成的图像进行自动判别，产生视频合成的最优结果。

所述端到端即文本到视频的视频合成方法具体包括：