[发明专利]一种用于AI视频分析的模糊图像超分辨率重建方法及装置

说明书

一种用于AI视频分析的模糊图像超分辨率重建方法及装置，提出的多尺度特征提取及融合网络能够得到不同尺度下的浅层图像特征，增加图像特征的丰富度；采用多路径递归残差网络模型，可以很好地学习LR图像和HR图像之间的高频残差特征，首先，不同路径之间的信息可以相互共享，使得网络能够自适应地检测不同尺度的图像特征。其次，每一条路径可以从不同路径的梯度中受益，更加有助于图像特征信息的传播和梯度流动，以缓解训练过程中梯度的消失问题，提高训练效果和图像重建性能；采用的自门控Swish激活函数，有助于解决随着网络层数加深会出现过拟合问题，使得图像超分辨率重建有着较好的性能。

技术领域

本发明涉及视频图像处理领域，具体涉及一种用于AI视频分析的模糊图像超分辨率重建方法及装置。

背景技术

智能视频分析广泛应用在周界安防、金融行业监控、监所监控、商场客流统计等方方面面。其主要用来实现区域检测、物品遗留、人脸识别、人数统计、车辆特征识别等功能。但是实际环境中光照不均匀或弱光环境、遮挡背景等都会导致采集到的视频图像模糊，造成视频图像采集终端采集到的图像分辨率较低，整体成像质量较差，严重影响了后续的智能视频分析阶段。因此，对由光照不均或弱光和遮挡导致的模糊图像进行重建以获得清晰的高分辨率图像一直是当前各个行业AI视频分析至关重要的环节。

图像超分辨率重建技术的主要目的是利用一幅或多幅低分辨率图像估计一幅高分辨率图像，通过学习由实例构建的数据库中低分辨率和高分辨率图像块之间的映射，恢复图像丢失的高频细节。目前，图像超分辨率重建是前沿热门领域，吸引了越来越多的学者参与研究，并发表了众多有意义的工作。随着计算机的计算能力的提升，卷积神经网络不断朝着更深的网络发展，模型深度的增加伴随着性能的提升，因此，深度学习成为当下的研究热点，同样，在超分辨率重建领域，基于深度学习的单幅图像超分辨率重建方法也已经成为当下的研究热点。研究人员提出了很多模型，例如：SRCNN、VDSR等等，也都在图像超分辨率重建上面取得了较好的性能。

目前图像超分辨率重建技术仍存在如下的缺陷：第一，目前的主要研究几乎都是在单一尺度下对LR图像进行特征提取，忽略了不同尺度下的图像细节信息即浅层图像特征，重建过程中没能充分利用低分辨率图像的浅层图像特征，从而导致重建图像质量差，不利于复杂的纹理细节特征重建。第二，目前的研究都倾向于使用更深层次的网络模型来提高重建性能，然而盲目地增加网络的深度并不能有效地改善网络，并且随着网络深度的增加，需要训练的参数数目越来越多，导致对计算复杂度和存储空间的需求也增加，训练过程中出现的问题越来越多，比如梯度消失或梯度爆炸等问题，从而导致网络模型的学习速率降低，模型的训练难度提升。第三，目前的多数基于卷积神经网络的单幅图像超分辨率(SISR)方法使用的激活函数是ReLU激活函数，随着网络层数加深会出现过拟合问题，映射关系会变差，导致图像重建性能变差。

发明内容

本发明针对上述背景技术中提出的现有图像超分辨率重建技术存在的缺陷，提出一种用于AI视频分析的模糊图像超分辨率重建方法及装置，能够对在光照不均或低光照环境下或者拍摄角度问题所拍摄到的模糊图像提取更多更好的图像特征和充分利用这些图像特征，以提高图像超分辨率重建的性能，从而提升AI视频分析能力。

一种用于AI视频分析的模糊图像超分辨率重建方法，包括如下步骤：

步骤1，建立多尺度特征提取融合网络，由多尺度特征提取单元和特征融合层组成，通过多尺度特征提取融合网络在原始低分辨率图像上进行特征提取，即输入是原始的LR图像，并且在其中每个卷积层的后面设置激活层，使用自门控Swish激活函数；在深度学习中，多使用ReLU作为激活函数；