[发明专利]一种基于深度学习的欧拉视频颜色放大方法

权利要求书

1.一种基于深度学习的欧拉视频颜色放大方法，其特征在于，该方法包括两个步骤：

(1)获得颜色放大网络，包括以下子步骤：

(1.1)在LBVMM数据集的基础上合成一个模拟微小颜色变化的图片数据集；

(1.2)构建颜色放大网络；

(1.3)在合成的图片数据集上进行网络的训练；

(1.4)优化FIR带通滤波器；

(1.5)使用优化的FIR带通滤波器替换训练得到的网络中的差分滤波模块；

(1.6)获得颜色放大网络；

(2)调用颜色放大网络，包括以下子步骤：

(2.1)给定输入视频并设置参数；

(2.2)将输入视频分解成帧序列；

(2.3)调用颜色放大网络处理帧序列；

(2.4)生成颜色放大帧序列；

(2.5)将颜色放大帧序列合成颜色放大视频；

所述步骤(1.1)包括以下子步骤：

(1.1.1)计算强度差：对LBVMM数据集的每组数据计算强度差；

(1.1.2)合成两帧输入：计算每组数据的颜色扰动信号，并据此得到两帧输入；

(1.1.3)随机生成放大因子：放大因子α设置为(0,100]范围内的随机值，并将根据(1.1.4)中真实放大帧的合成效果对其进行微调；

(1.1.4)合成真实放大帧：根据步骤(1.1.2)合成的两帧输入以及步骤(1.1.3)随机生成的放大因子合成真实放大帧；

所述步骤(1.2)构建的颜色放大网络包括四个模块：空间分解模块、差分滤波模块、非线性放大模块、图像重建模块；其中，所述空间分解模块将两帧输入图像分别分解为颜色表示与运动表示；差分滤波模块计算两帧输入颜色表示的差值作为颜色信号；放大模块根据输入的放大因子完成对颜色信号的非线性放大处理；最后在图像重建模块中，运动表示与放大的颜色信号重建为颜色放大帧；

对于步骤(1.1.2)合成的两帧输入(X_a,X_b)，网络的空间分解模块从中提取到的运动表示和颜色表示分别为M_a，M_b和C_a，C_b；Y是步骤(1.1.4)合成的真实放大帧，是网络输出的放大结果；则网络的损失函数为其中，是L₁损失函数，L₁(C_a,C_c)+L₁(M_b,M_c)是正则项，λ是正则项权重，设置为0.1；

所述步骤(1.4)中，从空间分解模块处理的颜色表示中提取ROI颜色信号，包括以下子步骤：

(1.4.1)设置FIR带通滤波器的参数，得到冲激响应；

(1.4.2)合成颜色信号：每帧颜色表示按照帧序组合得到颜色信号；

(1.4.3)在动态场景下，对颜色信号进行加窗处理，窗函数选择Hanning窗；静态场景则跳过此步骤；

(1.4.4)分别对冲激响应和颜色信号作快速傅里叶变换，转换到频域；

(1.4.5)在频域上计算冲激响应与颜色信号的乘积；

(1.4.6)对频域上的乘积作快速傅里叶逆变换转换回时域，得到ROI颜色信号。

2.如权利要求1所述的基于深度学习的欧拉视频颜色放大方法，其特征在于，所述步骤(1.3)中，使用默认指数衰减率的Adam算法进行训练，初始学习速率设置为10^-4；Batch Size设置为4，对整个数据集训练10个Epoch；所述默认指数衰减率为：β1＝0.9、β2＝0.999。

3.如权利要求1所述的基于深度学习的欧拉视频颜色放大方法，其特征在于，所述步骤(2.3)为调用步骤(1.6)所述的使用优化的FIR带通滤波器的颜色放大网络，帧序列按照顺序输入网络。

4.如权利要求1所述的基于深度学习的欧拉视频颜色放大方法，其特征在于，所述步骤(2.5)所述合成颜色放大视频，需要按照原始视频中的帧序合成。