[发明专利]基于深度学习注意力模型的移动端视频质量增强方法

说明书

本发明公开了一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据；步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据。本发明公开的一种基于深度学习注意力模型的移动端视频质量增强方法，其分别将移动端视频通过前景处理和背景处理后再通过图像融合模块进行融合，以获得移动端视频质量增强数据，并且对视频数据进行图像超分辨率处理和视频图像质量增强处理，更大程度上提升视频增量性能。

技术领域

本发明属于视频质量增强技术领域，具体涉及一种基于深度学习注意力模型的移动端视频质量增强方法。

背景技术

智慧城市建设的背景下，城市视频监控系统得到了广泛的部署。这些系统产生的大量视频数据需要被高效压缩，以节省存储和传输成本。为此，需要找到简单有效的方法来提高监控视频的质量。传统的图像增强方法存在着只能用于处理某些特定的问题，容易产生噪音等现象的问题。

随着深度学习的发展，基于深度学习的图像增强方法，可提取图像深层信息，根据深层信息预测增强后的图像，取得了很好的效果。但是深度学习图像增强方法依赖于大量训练数据集、损失函数的选择，对设备运算能力要求过高，难以达到实时处理效果。这些问题导致基于深度学习的视频图像增强方法的设计与实施尤为困难。

因此，针对上述问题，予以进一步改进。

发明内容

本发明的主要目的在于提供基于深度学习注意力模型的移动端视频质量增强方法，其分别将移动端视频通过前景处理和背景处理后再通过图像融合模块进行融合，以获得移动端视频质量增强数据，并且对视频数据进行图像超分辨率处理和视频图像质量增强处理，更大程度上提升视频增量性能。

为达到以上目的，本发明提供一种基于深度学习注意力模型的移动端视频质量增强方法，用于视频质量增强，包括以下步骤：

步骤S1：对于移动端视频数据通过前景质量增强模块进行质量增强，以获得前景质量增强数据(包括第一数据和第二数据)；

步骤S2：对于移动端视频数据通过背景质量增量模块进行质量增强，以获得背景质量增强数据(方法步骤与步骤S1及其具体实施步骤相同)；

步骤S3：将前景质量增强数据和背景质量增强数据通过图像融合模块进行融合，以获得移动端视频质量增强数据。

作为上述技术方案的进一步优选的技术方案，步骤S1具体实施为以下步骤：

步骤S1.1：对于移动端视频数据进行基于深度神经网络的图像超分辨率处理，以获得第一数据；

步骤S1.2：对于移动端视频数据进行视频图像质量增强处理，以获得第二数据。

作为上述技术方案的进一步优选的技术方案，步骤S1.1具体实施为以下步骤：

步骤S1.1.1：将移动端视频数据进行第一预处理后获得的数据通过图像粗特征提取网络进行图像粗特征提取，以获得图像粗特征数据；

步骤S1.1.2：将图像粗特征数据依次经过若干个多阶特征融合单元进行特征融合，以获得特征融合数据；

步骤S1.1.3：将特征融合数据与移动端视频数据进行第一预处理后获得的数据构成全局残差架构(加快梯度在网络中的流动，同时也可以进一步改进网络的表达能力和减轻训练一个非常深的网络所带来的梯度消失问题，从而获得能好的性能)，以获得高分辨率的移动端视频前景数据(即第一数据)。

作为上述技术方案的进一步优选的技术方案，步骤S1.2具体实施为以下步骤(利用单帧进行质量增强)：

步骤S1.2.1：将移动端视频数据进行第二预处理后获得的数据通过浅层特征提取网络进行浅层特征提取，以获得浅层特征数据；