[发明专利]视频风格迁移方法和装置

权利要求书

1.一种视频风格迁移方法，所述方法包括：

获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；

获取所述相邻两帧的光流；

基于所述光流，对所述在先图像帧进行风格迁移的中间特征进行扭曲处理，得到所述相邻两帧中的在后图像帧进行风格迁移的中间特征；

采用所述在后图像帧进行风格迁移的中间特征更新所述在先图像帧进行风格迁移的中间特征，得到所述在后图像帧进行风格迁移后的风格化帧；所述光流为密集光流，所述获取所述相邻两帧的光流，包括：将所述在先图像帧缩小至所述在先图像帧进行风格迁移的中间特征的尺寸；

将所述相邻两帧中的在后图像帧缩小至所述在先图像帧进行风格迁移的中间特征的尺寸；

采用光流法，计算缩小后的在先图像帧以及缩小后的在后图像帧之间的密集光流，并将所述密集光流作为所述相邻两帧的光流。

2.根据权利要求1所述的方法，其中，所述基于所述光流，对所述在先图像帧进行风格迁移的中间特征进行扭曲处理，得到所述相邻两帧中的在后图像帧进行风格迁移的中间特征，包括：

基于所述光流，分别对所述缩小后的在后图像帧、所述在先图像帧进行风格迁移的中间特征进行扭曲处理，生成扭曲后的在后图像帧以及扭曲后的中间特征；

基于所述扭曲后的在后图像帧以及所述缩小后的在后图像帧，对所述扭曲后的中间特征进行平滑处理，得到平滑后的中间特征；

将所述平滑后的中间特征作为所述相邻两帧中的在后图像帧进行风格迁移的中间特征。

3.根据权利要求2所述的方法，其中，所述基于所述扭曲后的在后图像帧以及所述缩小后的在后图像帧，对所述扭曲后中间特征进行平滑处理，得到平滑后的中间特征，包括：

计算所述扭曲后的在后图像帧与所述缩小后的在后图像帧两者的第一差值绝对值，所述第一差值绝对值为所述扭曲后的在后图像帧与所述缩小后的在后图像帧对应位置像素值差值的绝对值；

将所述第一差值绝对值以及所述扭曲后的中间特征输入特征时序迁移模型，得到所述特征时序迁移模型输出的平滑后的中间特征。

4.根据权利要求3所述的方法，其中，所述特征时序迁移模型的输入为第一差值绝对值以及扭曲后的中间特征，所述特征时序迁移模块的输出为平滑后的中间特征，所述特征时序迁移模型将第二差值绝对值小于预设阈值作为优化目标；

所述第二差值绝对值为所述平滑后的中间特征的通道中特征图与所述在后图像帧进行风格迁移的中间特征对应位置像素值差值的绝对值。

5.根据权利要求1-4之一所述的方法，其中，所述获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征，包括：

将视频中相邻两帧的在先图像帧输入生成式对抗网络的生成器的编码器，得到由所述生成对抗网络的生成器的编码器输出的中间特征。

6.一种视频风格迁移装置，所述装置包括：

特征获取模块，被配置成获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征；

光流获取模块，被配置成获取所述相邻两帧的光流；

扭曲处理模块，被配置成基于所述光流，对所述在先图像帧进行风格迁移的中间特征进行扭曲处理，得到所述相邻两帧中的在后图像帧进行风格迁移的中间特征；

风格迁移模块，被配置成采用所述在后图像帧进行风格迁移的中间特征更新所述在先图像帧进行风格迁移的中间特征，得到所述在后图像帧进行风格迁移后的风格化帧；其中，所述光流为密集光流，所述光流获取模块包括：

先帧缩小单元，被配置成将所述在先图像帧缩小至所述在先图像帧进行风格迁移的中间特征的尺寸；

后帧缩小单元，被配置成将所述相邻两帧中的在后图像帧缩小至所述在先图像帧进行风格迁移的中间特征的尺寸；

光流计算单元，被配置成采用光流法，计算缩小后的在先图像帧以及缩小后的在后图像帧之间的密集光流，并将所述密集光流作为所述相邻两帧的光流。