[发明专利]一种基于深度学习的欧拉视频颜色放大方法

说明书

本发明公开了一种基于深度学习的欧拉视频颜色放大方法，包括获得颜色放大网络和调用颜色放大网络两个步骤。首先合成一个模拟微小颜色变化图片数据集，并在该数据集上训练一个由空间分解、差分滤波、放大处理、图像重建四个模块构建的颜色放大网络；在运行时，对FIR带通滤波器进行优化，并将其替换网络的差分滤波模块。步骤二根据给定输入视频进行颜色放大处理时，先将视频分解为帧序列，通过调用颜色放大网络生成颜色放大帧序列，最后合成颜色放大视频。相比线性放大方法，本发明方法步骤一采用深度学习模型，训练过程自动化，免去了繁琐的人工设计；步骤二的处理，大大减少了噪声，在动态场景下不会产生伪影，增强了放大效果。

技术领域

本发明涉及图像视频处理领域，尤其涉及一种基于深度学习的欧拉视频颜色放大方法。

背景技术

一些客观存在却无法用肉眼直接观察的颜色信号中蕴藏着丰富的信息，比如皮肤颜色随着血液循环发生的周期性变化，轻微按压造成的局部皮肤颜色改变等。而欧拉视频颜色放大方法在增强肉眼难以感知的颜色变化上具有出色的效果，它能够捕捉并放大视频中微小的颜色信号，从而使其可以被人眼直接观察到，为解读这类信息提供了一种可视化方法。

但是目前已实现的方法存在着一些不足。首先，算法的空间分解过程依赖手工设计，并且无法将颜色信号与运动信号分离，导致放大颜色变化的同时运动也随之放大，后者会对颜色放大结果产生干扰。其次，已有的时域滤波手段无法兼顾静态与动态场景，在动态场景下的放大结果存在明显的伪影。第三，放大结果往往存在严重的噪声，容易失真。

发明内容

针对上述提到的问题，本发明提出了一种基于深度学习的欧拉视频颜色放大算法，本发明采用深度学习方法避免了手工设计的弊病，同时训练得到颜色放大网络在隔离颜色与运动信号方面也优于传统方法，能够避免干扰，增强放大效果；针对FIR带通滤波器存在的问题进行优化，令其同时具备处理静态场景和动态场景的能力；采用的非线性放大方法有效地降低了噪声，提高画面质量。

本发明的目的是通过以下技术方案来实现的：一种基于深度学习的欧拉视频颜色放大方法，该方法包括两个步骤：

(1)获得颜色放大网络，包括以下子步骤：

(1.1)在LBVMM数据集的基础上合成一个模拟微小颜色变化的图片数据集；

(1.2)构建颜色放大网络；

(1.3)在合成的图片数据集上进行网络的训练；

(1.4)优化FIR带通滤波器；

(1.5)使用优化的FIR带通滤波器替换训练得到的网络中的差分滤波模块；

(1.6)获得颜色放大网络。

(2)调用颜色放大网络，包括以下子步骤：

(2.1)给定输入视频并设置参数；

(2.2)将输入视频分解成帧序列；

(2.3)调用颜色放大网络处理帧序列；

(2.4)生成颜色放大帧序列；

(2.5)将颜色放大帧序列合成颜色放大视频。

所述步骤(1.1)包括以下子步骤：

(1.1.1)计算强度差：对LBVMM数据集的每组数据计算强度差；

(1.1.2)合成两帧输入：计算每组数据的颜色扰动信号，并据此得到两帧输入；

(1.1.3)随机生成放大因子：放大因子α设置为(0,100]范围内的随机值，并将根据(1.1.4)中真实放大帧的合成效果对其进行微调；