[发明专利]风格迁移模型训练方法、视频处理方法及相关装置

说明书

本发明提供的风格迁移模型训练方法、视频处理方法及相关装置，方法包括：获取用于训练样本集，然后构建生成对抗模型，利用训练样本集，对生成对抗模型进行训练，得到目标风格特征对应的风格迁移模型，本发明将生成对抗模型作为初始训练模型，并利用生成对抗模型所包含的生成器对每个训练样本生成多张不同分辨率的风格特征迁移图，在训练过程中可以基于不同分辨率的风格特征迁移图进行模型训练，如此一来，模型可以学习到不同分辨率下的图像特征，增强了模型对复杂目标进行检测和特征提取的能力，最终使得训练得到的风格迁移模型能够准确实现对复杂目标的风格迁移，提升了风格迁移的准确性。

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种风格迁移模型训练方法、视频处理方法及相关装置。

背景技术

图像风格迁移，是一种将参考图像中的画面风格迁移至原始图像上的技术，这个过程既保持了原始图像的主体内容结构，又使其拥有参考图像中对应的画面风格。视频风格迁移则是在视频层面上进行画面风格迁移，和图像风格迁移相比要求更高的稳定性和准确性。

现有的图像风格迁移技术通常采用深度学习等方法提取出待迁移图像的若干特征层，并区分出内容特征和风格特征，最终混合不同图像的内容特征和风格特征以达到风格迁移的目的。其中，为了保证迁移后图像的风格和内容的质量，需要经过多次迭代优化训练，或者针对个别风格训练出单一模型。但这些方法普遍都为纹理或者像素等单一风格的简单迁移，在复杂目标、复杂风格的迁移上效果和稳定性都非常差。

发明内容

本发明的目的之一在于提供一种风格迁移模型训练方法、视频处理方法及相关装置，用以提升对复杂目标以及复杂风格的迁移效果和稳定性。

第一方面，本发明提供一种风格迁移模型训练方法，所述方法包括：获取训练样本集；其中，所述训练样本集中包括至少一张内容图像和至少一张参考图像，所述参考图像具有目标风格特征；构建初始的生成对抗模型；其中，所述生成对抗模型包括生成器和判别器；所述生成器用于生成每个训练样本对应的多张风格特征迁移图；所述多张风格特征迁移图各自对应的分辨率互不相同；利用所述训练样本集，对所述生成对抗模型进行训练，得到所述目标风格特征对应的风格迁移模型；所述风格迁移模型用于对待处理视频流进行处理，以使待处理视频流的每一帧图像具有所述目标风格特征。

第二方面，本发明提供一种视频处理方法，所述方法包括：获取待处理的视频流、以及目标风格；将所述待处理视频流的每一帧图像输入到所述目标风格对应的风格迁移模型中，得到所述每一帧图像对应的目标图像；其中，所述目标图像中具有所述目标风格，所述风格迁移模型是通过如第一方面所述的风格迁移模型训练方法得到的；基于全部所述目标图像得到处理后的所述视频流。

第三方面，本发明提供一种风格迁移模型训练装置，包括：获取模块，用于获取训练样本集；其中，所述训练样本集中包括至少一张内容图像和至少一张参考图像，所述参考图像具有目标风格特征；构建模块，用于构建初始的生成对抗模型；其中，所述生成对抗模型包括生成器和判别器；所述生成器用于生成每个训练样本对应的多张风格特征迁移图；所述多张风格特征迁移图各自对应的分辨率互不相同；训练模块，用于利用所述训练样本集，对所述生成对抗模型进行训练，得到所述目标风格特征对应的风格迁移模型；所述风格迁移模型用于对待处理视频流进行处理，以使待处理视频流的每一帧图像具有所述目标风格特征。

第四方面，本发明提供一种视频处理装置，包括：获取模块，用于获取待处理的视频流、以及目标风格；迁移模块，用于将所述待处理视频流的每一帧图像输入到所述目标风格对应的风格迁移模型中，得到所述每一帧图像对应的目标图像；其中，所述目标图像中具有所述目标风格，风格迁移模型是通过如第一方面所述的风格迁移模型训练方法得到的；处理模块，用于基于全部所述目标图像得到处理后的所述视频流。

第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面或者第二方面所述的方法。