[发明专利]一种基于深度学习的视频画质增强系统

说明书

本发明提供了一种基于深度学习的视频画质增强系统，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性并反馈给所述学习处理模块，所述学习处理模块依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式。本系统采用帧内处理和帧间处理两个角度进行画质增强，使增强后的内容部出现失真，获取更好的画质增强效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的视频画质增强系统。

背景技术

随着手机等移动终端的普及，人们越来越习惯用手机等移动终端观看网络视频。人们观看视频时，视频画质主要受到下面的因素影响：1.受视频拍摄质量和后期制作的因素影响，其中包括拍摄器材的因素、拍摄环境的因素、有损的后期剪辑等；2.网络视频服务商会将原始视频转码成不同码率供用户选择，转码过程会对视频进行有损压缩，转码后的视频质量相比原始视频会有下降。

现在已经开发出了很多画质增强系统，经过我们大量的检索与参考，发现现有的增强系统有如公开号为CN109345490B所公开的系统，解码视频流数据，得到RGB图像数据；对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。但该系统在处理过程中是对单独的帧画面进行处理，处理后的视频存在不连贯，失真的缺点，画质增强效果有待改进。

发明内容

本发明的目的在于，针对所存在的不足，提出了一种基于深度学习的视频画质增强系统，

本发明采用如下技术方案：

一种基于深度学习的视频画质增强系统，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性Q并反馈给所述学习处理模块，所述学习处理模块依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式；

所述处理模型包括帧处理模型和帧间处理模型，所述帧增强模块执行所述帧处理模型，所述帧间增强模块执行所述帧间处理模型；

所述帧处理模型将分辨率为X₀*Y₀的待处理帧画面扩大为分辨率为X₁*Y₁的初始帧画面，并将初始帧画面中的像素点依据相邻像素点信息是否相同划分为多个点集，所述点集中的边缘点依据计算的融合度Z决定是否改变像素点信息，所述融合度Z的计算公式为：

；

其中，n₁、n₂、n₃和n₄分别表示边缘点邻近区域内像素点中属于同一点集中的非边缘点数量、属于同一点集中的边缘点数量、属于不同点集中的非边缘点数量和属于不同点集中的边缘点数量；

当融合度Z大于0时，该边缘点保持不变，当Z小于0时，该边缘点的像素点信息转换成邻近的点集中的像素点信息；

所述帧间处理模型利用像素点窗口获取相邻帧画面中相同位置处像素点的灰度信息得到两个矩阵P1和P2，并对两个矩阵进行如下操作得到矩阵卷差C：

；