[发明专利]一种视频风格转置方法和系统

说明书

本发明公开一种视频风格转置方法和系统。其中，该方法包括通过提取当前帧图像的第一内容特征和所述当前预生成图片的第二内容特征并计算出当前内容损失；以及通过提取当前风格图片的第一风格特征和所述当前预生成图片的第二风格特征并计算出当前风格损失；根据所述当前内容损失和所述当前风格损失，计算出所述当前预生成图片的总损失，并将所述总损失进行梯度下降以及对所述当前预生成图片进行更新，得到所述当前帧的生成图片；根据原视频的码率和帧率将所有帧的生成图片合成，以得到风格转置视频。通过本发明，解决了现有技术中改变视频风格的样式少，过于简单的问题，在保留原始视频的内容的情况下风格化了原视频，提高了MV视频处理的多样性。

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种视频风格转置方法和系统。

背景技术

视频图像处理是计算机视觉领域研究的热点课题之一，今年来新兴起的一种视频图像处理的技术——视频图像风格转换越来越受到人们的关注。它以计算机为工具，用算法模拟出不同艺术形式的绘制风格，增强视频图像中可视信息的表现形式，这种将计算机技术与艺术美学有效结合的技术越来越受到用户的喜爱。而之前改变MV视频风格都是给视频帧添加滤镜美颜虚化或者简单的合成两张图片的方式，其MV视频处理过于简单，风格样式少。

针对现有技术中改变视频风格的样式少，过于简单的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种视频风格转置方法和系统，以解决现有技术中改变视频风格的样式少，过于简单的问题。

为达到上述目的，一方面，本发明提供了一种视频风格转置方法，该方法包括：

获取原视频中的当前帧图像、与所述当前帧图像对应的当前预生成图片、与所述当前帧图像对应的当前风格图片；

提取所述当前帧图像的第一内容特征和所述当前预生成图片的第二内容特征，并根据所述第一内容特征和所述第二内容特征计算出当前内容损失；

提取所述当前风格图片的第一风格特征和所述当前预生成图片的第二风格特征，并根据所述第一风格特征和所述第二风格特征计算出当前风格损失；

根据所述当前内容损失和所述当前风格损失，计算出所述当前预生成图片的总损失，并将所述总损失进行梯度下降，得到最小化损失；

根据所述最小化损失，将对所述当前预生成图片进行更新，得到所述当前帧的生成图片；

根据原视频的码率和帧率将所有帧的生成图片合成，以得到风格转置视频。

可选的，所述提取所述当前帧图像的第一内容特征和所述当前预生成图片的第二内容特征，并根据所述第一内容特征和所述第二内容特征计算出当前内容损失包括：

将所述当前帧图像转换为与所述当前预生成图片同等大小尺寸的当前第一图片；

分别将所述当前第一图片和所述当前预生成图片输入到VGG-19(预训练的CNN神经网络)中第一特定神经网络层；

提取输入到该第一特定神经网络层中的所述当前第一图片的内容特征，得到所述第一内容特征；以及，提取输入到该第一特定神经网络层中的所述当前预生成图片的内容特征，得到所述第二内容特征；

将所述第一内容特征和所述第二内容特征通过以下方式计算所述当前内容损失：

其中，J_content(C,G₁)为当前内容损失，C为当前帧图像的第一内容特征，G₁为当前预生成图片的第二内容特征，a为当前特征矩阵，l₁为第一特定神经网络层。