[发明专利]一种基于神经网络的通用视频时域对齐方法

说明书

本发明提供了一种基于神经网络的通用视频时域对齐方法，包括步骤：采集当前视频所有的原视频图像帧；将原视频图像帧经由一图像处理神经网络模型处理后得到处理图像帧；构建可以用于对齐视频图像帧间时域的深度卷积神经网络；采用所述原视频图像帧及所述处理图像帧作为输入，通过所述深度卷积神经网络，获得输出的时域对齐的视频图像帧；合成所述输出的时域对齐的视频图像帧，得到最终时域对齐的完整视频。本发明解决了由直接应用图像处理模型到视频任务产生的视频时域不一致问题的问题，具有用一个通用算法解决多种不同视频任务的时域不一致问题的优点。

技术领域

本发明涉及视频图像处理技术领域，特别是一种基于神经网络的通用视频时域对齐方法。

背景技术

近年来，随着计算机视觉领域的飞速发展，各种基于神经网络的图像处理任务均取得了重大突破，许多图像处理算法已在单个图像处理任务中表现了出色的性能。如图像去噪任务，通过精心设计的神经网络，可以由一张充满噪声的图像生成无噪声的清晰图像，达到极好的视觉效果。在现实应用中，视频场景更符合实际的需求，现今大多数视频任务的处理方式为将视频抽成若干图像帧，然后逐帧用图像处理神经网络模型进行处理，最终再将处理后的图像帧合成，得到处理后的视频。这种处理方式得到的视频质量普遍较差，是由于逐帧处理的方式导致生成的视频图像帧间的时域参差不齐，进而容易导致视频闪烁、视频细节不连贯等问题，影响视频的整体视觉效果。

为了确保视频时域的一致性，有研究人员针对不同的视频处理任务设计了专用算法，例如视频上色，视频去噪和视频增强。尽管特定任务的视频处理算法可以一定程度上改善特定任务处理所得视频的时域一致性，但是无法将类似的策略直接应用到其他任务上，具有很大的局限性，针对不同的视频处理任务需要设计不同的处理算法也提高了实际应用中的研发成本及实现成本。

发明内容

有鉴于此，本发明的目的是提出一种基于神经网络的通用视频时域对齐方法，解决了由直接应用图像处理模型到视频任务产生的视频时域不一致问题的问题，具有用一个通用算法解决多种不同视频任务的时域不一致问题的优点。

本发明采用以下方案实现：一种基于神经网络的通用视频时域对齐方法，具体包括以下步骤：

采集当前视频所有的原视频图像帧；

将原视频图像帧经由一图像处理神经网络模型处理后得到处理图像帧；

构建可以用于对齐视频图像帧间时域的深度卷积神经网络；

采用所述原视频图像帧及所述处理图像帧作为输入，通过所述深度卷积神经网络，获得输出的时域对齐的视频图像帧；

合成所述输出的时域对齐的视频图像帧，得到最终时域对齐的完整视频。

进一步地，所述图像处理神经网络模型包括图像增强模型、图像去噪模型、图像去雾模型、图像上色模型。

进一步地，所述用于对齐视频图像帧间时域的深度卷积神经网络为整合了ConvLSTM卷积长短期记忆单元层的U-Net图像变换网络。

进一步地，所述U-Net图像变换网络为编码器-解码器架构，包含四次下采样及四次上采样操作，形成一个U型结构；进行第四次下采样操作后，接入一个ConvLSTM卷积长短期记忆单元层，然后再进行上采样操作。

进一步地，所述ConvLSTM卷积长短期记忆单元层包括遗忘门、输入门、输出门，所述遗忘门根据当前的输入和上一时刻的输出决定哪一部分需要被遗忘；输入门根据当前的输入和上一刻的输出决定哪些信息加入到前一刻的状态中生成新的状态输出门根据最新的状态上一时刻的输出和当前的输入来决定该时刻的输出

进一步地，所述采用所述原视频图像帧及所述处理图像帧作为输入，通过所述深度卷积神经网络，获得输出的时域对齐的视频图像帧具体为：