[发明专利]视频生成方法、装置、设备及存储介质

说明书

本公开实施例公开了一种视频生成方法、装置、设备及存储介质。提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息；其中，所述原始图像和所述原始驱动视频均包含人物形象；根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息；根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理，获得多个目标图像；将所述多个目标图像进行拼接，获得目标视频。本公开实施例提供的视频生成方法，基于第一特征信息和原始驱动视频对应的多个光流变换信息对原始图像进行变换处理，实现了将原始驱动视频中的人物表情转移至原始图像中的人物中，不仅可以提高表情驱动视频的生成效率，也提高了生成视频的趣味性。

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种视频生成方法、装置、设备及存储介质。

背景技术

随着人工智能技术的不断发展，深度神经网络已经在计算机视觉、自然语言处理和其他跨学科研究领域日益普及。表情驱动技术就是以深度神经网络为基础的一项重要计算机视觉运用，该技术可以通过输入一张目标图像和相应的驱动视频，将驱动视频中的运动轨迹转移到目标图像上，生成以目标图像为基准带有驱动视频运动轨迹的视频。

现有的表情驱动技术因为模型计算量巨大以及传统计算设备计算机不足、存储量不够的原因，很难做到实时处理，因此需要额外的计算和存储设备进行异构加速，但由于现有技术的计算过程限制，传统的异构计算方案面临着额外的数据传输，导致如下两个问题：

1、额外的传输时间导致无法实时进行表情驱动视频生成。

2、额外的数据存储开销过大导致单卡设备面临着存储空间不足的问题。

发明内容

本公开实施例提供一种视频生成方法、装置、设备及存储介质，可以提高表情驱动视频的生成效率。

第一方面，本公开实施例提供了一种视频生成方法，包括：

提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息；其中，所述原始图像和所述原始驱动视频均包含人物形象；

根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息；

根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理，获得多个目标图像；

将所述多个目标图像进行拼接，获得目标视频。

第二方面，本公开实施例还提供了一种视频生成装置，包括：

特征信息提取模块，用于提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息；其中，所述原始图像和所述原始驱动视频均包含人物形象；

光流变换信息获取模块，用于根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息；

目标图像获取模块，用于根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理，获得多个目标图像；

目标视频获取模块，用于将所述多个目标图像进行拼接，获得目标视频。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本公开实施例所述的视频生成方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现如本公开实施例所述的视频生成方法。