[发明专利]一种基于深度学习的视频超分辨率重建方法

权利要求书

1.一种基于深度学习的视频超分辨率重建方法，其特征在于包括如下步骤：

步骤1：训练与测试数据准备：(1)公开数据集采集：采集两组内容相同的公开视频M对，一组为低分辨率视频，另一组为相应的高清视频；(2)私有数据集采集：用不同的手机和不同的摄像机拍摄高清视频，总共采集N组高清视频，高清视频用H_i表示，i＝1、2、…N；将采集的高清视频H_i使用对抗网络生成具有多种相机运动、多种场景深度以及多种运动模糊低分辨率视频，其中生成相机运动V_i^a组，a＝1、2、…n_a，生成不同场景深度V_i^b组，b＝1、2、…n_b，生成运动模糊V_i^c组，c＝1、2、…n_c，总共采集P组低分辨率视频，P＝a+b+c；然后将内容相同的低分辨率视频与高清视频对应组对，集合成P组视频对；

步骤2：视频对数据增强：将采集的M对公开视频和用对抗网络生成的P对视频生成视频帧，把这些视频帧通过平移、0°，90°，180°，270°旋转图像和按1/4,1/3,1/2比例缩放图像来增加数据；总共收集7×(M+P)组视频对，其中0.9×7×(M+P)组视频对作为训练数据，0.1×7×(M+P)组视频对作为测试数据，且训练数据和测试数据不交叉；

步骤3：视频对数据处理：将7×(M+P)对视频转化成连续的图像，用V_i^t表示视频的每一帧，i＝1、2、3…N，t＝1、2、…7×(M+P)，把处理的视频图像数据存为HDF5文件；

步骤4：设计网络结构：所提出的网络模型的体系结构将连续的3帧作为输入，前向循环子网络输入正向低分辨率视频帧V_i^t，所述正向视频帧从V₁^t帧到V_N^t帧；反向循环子网络输入反向低分辨率视频帧V_i^t，所述反向视频帧从V_N^t帧到V₁^t帧；选定前向子网络和反向子网络隐藏层深度为n，双向循环神经网络后连接一个3D卷积层，每个卷积块的深度代表卷积后的特征数量；紧接着是放大投影卷积单元和缩小投影卷积单元，选定放大投影单元深度为f，选定缩小投影单元深度为f，所述放大投影单元依次是将缩小投影单元输出的结果作为3D卷积的输入，输出为L^t-1，接着进行3D反卷积，输出为H₀^t，再一次进行3D卷积，输出为L^t，L^t与L^t-1相减得到E^t，E^t进行3D卷积得到H₁^t，H₁^t与H₀^t相加得到H^t；所述缩小投影单元依次是将放大投影单元输出的结果作为3D卷积的输入，输出为H^t1，再一次进行3D卷积输出为L₀^t，紧接着进行3D反卷积，输出为H₀^t，H₀^t与H^t1相减得到E^t，E^t进行3D卷积得到L₁^t，L₁^t与L₀^t相加得到L^t；经过f个放大投影单元和f个缩小投影单元之后是连接层，连接层将所有放大投影单元输出的特征融合，将融合的特征进行3D卷积，输出结果；

步骤5：训练：选定深度神经网络输入层节点数q个、输出层节点数e个、隐藏层数r层和隐藏层节点数t个、batch_size大小为u，随机初始化各层的连接权值W和偏置b,给定学习速率η，选定激活函数RELU，选定损失函数Loss；

选定损失函数Loss，在一种基于深度学习的视频超分辨率重建方法研究中采用的训练集为有标签数据，所述标签为低分辨率视频帧所对应的原始高分辨率视频帧；

采用欧式距离的计算方法,当前视频帧图像矩阵有W×H个元素，用W×H个元素值(A₁,A₂,...,A_W×H)构成原始高分辨率视频帧图像的一维向量，用(a₁,a₂,...,a_W×H)构成重建高分辨率视频帧图像的一维向量，然后利用数学上的欧式距离公式计算这两个向量之间的距离，距离越小就说明两幅图像越相似；

反复迭代直到神经网络输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；

步骤6：测试：对用于测试的低分辨率视频进行镜头分割，把同一镜头的低分辨率视频输入到训练好的神经网络模型中，模型的输出即为重建后的超分辨率视频。

2.如权利要求1所述的基于深度学习的视频超分辨率重建方法，其特征在于所述欧式距离公式为：

原始高分辨率视频帧图像I^H＝(A₁,A₂,...,A_W×H)

重建高分辨率视频帧图像I^S＝(a₁,a₂,...,a_W×H)

当前帧损失