[发明专利]一种视频转换方法及装置

说明书

本发明公开一种视频转换方法及装置，涉及视频转换技术领域，以解决视频转换性能低，成本高的问题。所述视频转换方法包括：采用半监督生成式对抗网络对原始视频和中间帧进行处理，获得转换后视频；转换后视频含有的各个视频帧之间具有光流约束；中间帧是位于原始视频含有的第一帧视频至最后一帧视频之间的视频帧。本发明提供的视频转换装置执行视频转换方法，用于视频转换。

技术领域

本发明涉及视频转换技术领域，尤其涉及一种视频转换方法及装置。

背景技术

在计算机视觉中，许多任务可以被描述为视频到视频的转换。目前通常采用生成式对抗网络(Generative Adversarial Networks，缩写为GAN)进行视频转换。

上述方法根据训练数据集的不同分为有监督和无监督两种视频转换方法。由于有监督的视频转换方法中的数据集是由有标注样本组成的，所以成本较高。无监督的视频转换方法中，数据集由不存在对应关系的不同视频域的视频组成，所以难以保证最终生成视频中的目标具有运动轨迹。

发明内容

本发明的目的在于提供一种视频转换方法及装置，用于在低成本的情况下提高视频转换性能。

为了实现上述目的，本发明提供如下技术方案：

本发明提供一种视频转换方法。该视频转换方法包括：

采用半监督生成式对抗网络对原始视频和中间帧进行处理，获得转换后视频；转换后视频含有的各个视频帧之间具有光流约束；中间帧是位于原始视频含有的第一帧视频至最后一帧视频之间的视频帧。

与现有技术相比，本发明提供的视频转换方法中，采用半监督生成式对抗网络对原始视频和中间帧进行处理，获得转换后视频，并且转换后视频含有的各个视频帧之间具有光流约束，符合实际要求。由于采用的是半监督生成式对抗网络，相较于单纯使用有标注数据的有监督训练模式，减少了标注的成本。并且，以半监督生成式对抗网络转换视频，可以使得待转换的原始视频可以部分标注的情况下，利用半监督生成式对抗网络对其进行转换，相较于单纯使用无标注数据的无监督训练模式，提高了生成式对抗网络对视频转换的性能。综上所述，采用上述视频转换方法可以在低成本的情况下提高视频转换性能。

本发明还提供了一种视频转换装置。该视频转换装置包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现上述视频转换方法。

与现有技术相比，本发明提供的视频转换装置的有益效果与上述技术方案所述视频转换方法的有益效果相同，此处不做赘述。

本发明还提供了一种计算机存储介质。该计算机存储介质中存储有指令，当指令被运行时，执行上述视频转换方法。

与现有技术相比，本发明提供的计算机存储介质的有益效果与上述技术方案所述视频转换方法的有益效果相同，此处不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了本发明实施例提供的视频转换系统的结构图；

图2示出本发明实施例提供的视频转换方法的流程图；

图3示出本发明实施例提供的获得转换后视频帧的流程图；

图4示出本发明实施例提供的利用生成器的视频转化过程示意图；

图5示出了本发明实施例提供的视频转换装置的结构框图；

图6示出了本发明实施例提供的视频转换装置的一种集成模块示意图；

图7示出了本发明实施例提供的芯片的结构示意图。

附图标记：