[发明专利]视频风格迁移方法和装置

说明书

本申请公开了视频风格迁移方法和装置，涉及计算机视觉技术领域。该方法的一具体实施方式包括：获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；获取相邻两帧的光流，基于光流，对在先图像帧进行风格迁移的中间特征进行扭曲处理，得到相邻两帧中的在后图像帧进行风格迁移的中间特征；采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的中间特征，得到在后图像帧进行风格迁移后的风格化帧。该实施方式提高了视频风格迁移时的帧率。

技术领域

本申请的实施例涉及计算机技术领域，具体涉及计算机视觉技术领域，尤其涉及一种视频风格迁移方法和装置。

背景技术

生成对抗网络(generative adversarial networks，GAN)能够将一种风格的图片转化为另外一种风格的图片，比如能将真人的自拍照片转为卡通风格。目前的GAN网络通常都是针对单帧图像生成的，其速度通常都比较慢，当用来生成视频的时候难以在移动端上达到实时的效果。

发明内容

本申请实施例提供了一种视频风格迁移方法、装置、电子设备以及计算机可读介质。

根据第一方面，提供了一种视频风格迁移方法，上述方法包括：获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；获取相邻两帧的光流；基于光流，对在先图像帧进行风格迁移的中间特征进行扭曲处理，得到相邻两帧中的在后图像帧进行风格迁移的中间特征；采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的中间特征，得到在后图像帧进行风格迁移后的风格化帧。

根据第二方面，提供了一种视频风格迁移装置，上述装置包括：特征获取模块，被配置成获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；光流获取模块，被配置成获取相邻两帧的光流；扭曲处理模块，被配置成基于光流，对在先图像帧进行风格迁移的中间特征进行扭曲处理，得到相邻两帧中的在后图像帧进行风格迁移的中间特征；风格迁移模块，被配置成采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的中间特征，得到在后图像帧进行风格迁移后的风格化帧。

根据第三方面，提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。

根据第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一实现方式描述的方法。

本申请的实施例提供的视频风格迁移方法和装置，首先获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；然后获取相邻两帧的光流，再后基于光流，对在先图像帧进行风格迁移的中间特征进行扭曲处理，得到相邻两帧中的在后图像帧进行风格迁移的中间特征；最后采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的中间特征，得到在后图像帧进行风格迁移后的风格化帧。由此，无需在后图像帧进行全路径的风格迁移运算，只需在后图像帧进行风格迁移的中间特征进行后续路径风格迁移运算，节省了计算量，减少了视频进行风格迁移时的耗时，在不损失风格迁移效果的情况下提高了视频风格迁移时的帧率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请视频风格迁移方法的实施例的示例性流程图；

图2是根据本申请实施例的获取相邻两帧的光流的方法的一种示例性流程图；

图3是根据本申请实施例的得到在后图像帧进行风格迁移的中间特征的方法的一种示例性流程图；

图4是根据本申请实施例的得到平滑后的中间特征的方法的一种示例性流程图；