[发明专利]一种面向监控场景的行人人脸超分辨率重建方法

说明书

本发明提出一种面向监控场景的行人人脸超分辨率重建方法，将行人人脸检测和人脸超分辨率重建统一到一个网络中，实现以端到端的方式输出人脸超分辨率图像，并给出针对行人人脸不可避免的不对齐、含有噪声等问题的解决方法。本发明分为行人人脸检测部分和人脸超分辨重建部分。给定一张行人的图像，首先利用人脸检测网络生成候选人脸的包围盒，然后将得到的包围盒输入人脸超分辨网络中，生成高分辨率的人脸图像。在联合优化的过程中，人脸检测网络和人脸超分辨网络相互适应。本发明能够为视频监控的行人再识别技术提供有效的信息，帮助完成寻找特定行人的任务，突破现有再识别中依靠行人外表等属性来区分不同的行人，有效利用关键的人脸信息。

技术领域

本发明涉及视频监控分析技术领域和人脸超分辨重建领域，特别是涉及一种行人人脸检测和人脸超分辨重建领域，具体涉及一种面向监控场景的行人人脸超分辨率重建方法

背景技术

在大型商场、游乐园等人口密集的公共场所，经常需要从视频监控得到的图像中来查找一些特殊身份的人，而由于行人与摄像头之间的距离较远以及摄像头分辨率有限等原因往往无法识别图像中的行人。人脸作为图像中经常被关注的敏感区域，对特定身份的人的识别起到至关重要的作用，但是从视频监控中获取的低分辨率人脸图像包含信息量比较少，同时伴随着姿态、表情、光照等因素使得提取有效的人脸特征较为困难，增加了人脸识别的难度。因此，如何通过低分辨率的行人图像重建高分辨的行人人脸图像，从而进一步进行识别和应用，一直以来都是监控分析领域和人脸超分辨重建领域中所致力解决的关键问题之一。

现有的研究通常把上述问题分为两个独立的子问题：人脸检测和人脸超分辨重建。在视频监控中的人脸检测技术，与传统的对静态图像的人脸检测技术不同，不是人脸迎合摄像头，而是要由摄像头来捕捉人脸，因此，具有更大的挑战。人脸超分辨率重建是一种从低分辨率人脸图像重建出其相应的高分辨率人脸图像的技术。现有的人脸超分辨率方法常假设输入的人脸图像足够大并且是对齐的、无噪声的。而从视频监控中获得的人脸图像常常是含有噪声的、非对齐的、低分辨率图像，导致现有方法的性能会产生较大幅度的下降。

2016年，Dong等率先将卷积神经网络引入到图像超分辨率复原的问题中,设计了基于深度卷积神经网络的图像超分辨率复原方法。该方法的主要思想是:以深度学习与传统稀疏编码之间的关系作为依据,将网络分为图像块提取、非线性映射和图像重建三个阶段,再将这三个阶段统一到一个深度卷积神经网络框架中,实现由低分辨率图像到高分辨率图像之间的端到端学习。该方法的重建结果比SCSR(Sparse coding based superresolution)方法的结果有较大提高。但是该方法的输入为对齐的、无噪声的低分辨率人脸图像，所以，在实际应用场景中的性能会有大幅度下降。

为了弥补从低分辨率的行人图像到高分辨率的人脸图像的差距，同时也为了解决实际中的人脸图像的不对齐、含有噪声的现象所导致重建重影问题，本发明提出一种面向视频监控的人脸检测与人脸超分辨重建方法，该网络使用一个端到端网络实现了人脸检测和将非对齐的、含有噪声的人脸的超分辨重建。

参考文献：

[1]Yu X,Porikli F.Hallucinating very low-resolution unaligned andnoisy face images by transformative discriminative autoencoders[C]//Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition.2017:3760-3768.

[2]Dong C,Loy C C,He K M,Tang X O.Image superresolution using deepconvolutional networks.IEEE Transactions on Pattern Analysis and MachineIntelligence,2016,38(2):295-307

发明内容