[发明专利]基于超分辨网络的目标搜索重建方法、装置及存储介质

说明书

本发明公开了一种基于超分辨网络的目标搜索重建方法、装置及存储介质，该方法创新地将图像超分辨率重建技术融入目标搜索的框架中。本方法包括以下步骤:将待搜索的视频帧输入到目标搜索网络中进行特征的提取与聚合；利用提取到的特征图进行目标的框定及分类；计算待搜索目标与框定目标特征的相似度进行目标重识别；利用回归坐标将重识别的结果裁剪拷贝，并输入图像超分辨率模块，得到超分辨率的目标图像。本发明以内嵌局部超分辨网络的方式实现了目标搜索任务与目标超分辨率任务，能获得更加丰富的边缘信息和更好的视觉效果，提高监控视频管理者、刑侦人员等在海量监控视频中检索目标对象的效率。

技术领域

本发明涉及基于深度学习的端到端无锚图像目标搜索技术领域，具体涉及一种基于超分辨网络的目标搜索重建方法、装置及存储介质。

背景技术

近年来，随着物联网、视频监控、人脸识别等技术的蓬勃发展，以及监控摄像头的普遍使用和人们对于公共安全日益关心，监控视频信息数量成爆炸式增长，目标搜索近年来吸引了很多研究工作者的关注。

而当前查询监控视频的方法往往采用人工方式浏览海量视频，从而找到目标信息，这无疑是一种成本高、效率低的方式。如何利用深度学习的研究成果从海量的监控视频中有效提取目标信息，从而减轻监控视频管理者的工作负担、减少人力输出、提高信息获取效率，更有效地搜寻目标，将是一项非常有前景、有意义的应用问题。

交通监控视频有以下特点：监控视频数据量大、目标成像模糊、相似目标数据多等。若应用传统的目标搜索方法，搜索到的结果依然难以分辨，相关的工作人员如监控视频管理者、刑侦人员等在查找目标时，需要在许多模糊的搜索结果中人力筛选目标。在一些特殊环境如雨天、雾天等气候条件下，通过人眼分辨目标十分困难。若要提高监控视频的成像质量，需要优化硬件设施，成本昂贵，代价高。

而图像质量的好坏影响着获取到信息的准确性，同时也会影响获取信息量的高低，因此图像清晰度的高低直接影响到所获取的图像信息质量。与提高图像分辨率的硬件方法相比，图像超分辨率算法成本低、较易实现。图像超分辨率（Image Super Resolution）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。

生成对抗网络(Generative Adversarial Network, GAN)可以用来解决超分辨率问题。训练网络时用均方差作为损失函数，虽然能够获得很高的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，使人不能有好的视觉感受。SRGAN利用感知损失(perceptualloss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。感知损失是利用卷积神经网络提取出的特征，通过比较生成图片经过卷积神经网络后的特征和目标图片经过卷积神经网络后的特征的差别，使生成图片和目标图片在语义和风格上更相似。

目标搜索任务的目的是同时从输入图像中定位和识别查询目标，这可以看作是目标检测和目标重识别(ReID)的统一任务。该任务包括了计算机视觉中的两个基本任务，即目标检测和目标重识别。

目标检测（object detection）模型分为无锚（anchor-free）和有锚（anchor-based）两种。有锚方法就是先生成感兴趣区域，生成大量的锚框，然后进行目标框定，也称为两阶段的检测器，与之相比，无锚框架则是一阶段的检测器，它的优势在于结构更加简单，速度也更快。

目标重识别（ReID）是指对于一个特定的目标（可能是行人、车辆、人脸或者其他特定物体），在候选图像集中检索到它。或称图像中目标的实例级检索。行人重识别在视频监控领域有非常重要的应用。

行人搜索是目标搜索领域应用较为广泛的一个领域。现有的大多数工作都采用了像Faster-RCNN这样的两级探测器，它精度较高但计算开销也很高。也有一些anchor-free的框架应用在行人搜索任务上，比如AlignPS，是第一个针对这个任务的无锚网络框架。