[发明专利]一种多尺度人脸恢复的时序集成网络、编码装置及解码装置

说明书

本发明提出了一种多尺度人脸恢复的时序集成网络、编码装置及解码装置，该集成网络集成了多个不同层次的基编解码器，并且进一步的采用时序门来有效的进行多尺度人脸恢复问题。其中，针对多尺度人脸恢复的时序集成网络包括，一个全卷积网络，该全卷积网络包括N个基编码器和N个基解码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；N‑1个时序门单元，在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择；N‑1个时序门单元，在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择。

技术领域

本发明涉及图像信号处理，尤其是一种多尺度人脸恢复的时序集成网络、相应的编码装置及解码装置。

背景技术

在过去的几年里，人脸分析技术取得了显著的进步，比如人脸检测和人脸识别。以此同时，由于监控系统的快速发展，人脸分析技术已经被广泛应用于各种各样的应用，比如犯罪调查。然而，当面临低质量的人脸图片时。大多数人脸分析技术的性能会急剧下降。所以如何从一个低质量人脸恢复出高质量人脸是一个急需解决的挑战。

既然人脸恢复技术在实际应用中有极大的潜力，最近几年许多人脸恢复算法已经相继被提出。有些算法专注于解决人脸超分辨率问题。其他算法在进行人脸超分辨率的同时也把噪声考虑进来。我们观察到大多数现有的人脸恢复算法忽略了一个真实世界图片的重要特性，也就是实际应用中的图片经常包含不同尺度的人脸。并且，当图片被失真严重污染时，人脸检测算法就很难从图片中检测出人脸。所以，我们专注于解决更符合实际应用的人脸恢复问题，也就是多尺度人脸恢复问题。之前的算法通常使用自编码器进行人脸恢复。但是自编码器本身缺少了多尺度的表达，所以对多尺度人脸变换不能进行很好的表达。

发明内容

针对现有的人脸恢复技术的缺陷，本发明提供了一种新的集成网络，该集成网络集成了多个不同层次的基编解码器，并且进一步的采用时序门来有效的进行多尺度人脸恢复问题。

本发明提出了一种更有效多尺度人脸恢复的时序集成网络，有效的解决以下关键技术问题：

1)传统的自编码器缺乏多尺度表达能力，在多尺度人脸恢复这个问题上效果不好。然而本发明集成了多个层次的基自编码器，能够有效地对多尺度输入进行有效的表达，从而获得更好的恢复效果。

2)由于自编码器结构中隐含了在编码器端对输入进行提取高层特征，在解码器端进行低层细节恢复。一些模型对自编码器的结构也进行的改进，比如SRGAN和RED-Net，但是这些网络没有探索多层次特征图之间的隐含层次关系。我们通过添加时序门单元能够顺序地从下到上提取高层特征，并且能顺序地从上到下恢复图像。

本发明提供一种针对多尺度人脸恢复的时序集成网络，其中，该网络包括，

一个全卷积网络，该全卷积网络包括N个基编码器和N个基解码器，N个基编码器输出N个层次的编码输出，N个基解码器输出N个层次的解码输出；

N-1个时序门单元，在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择；N-1个时序门单元，在解码端，对于N个层次的解码输出进行顺序地从上到下的结合和选择。编码和解码是串行的，所以这里时序门单元为2*(N-1)个。

进一步地，上述针对多尺度人脸恢复的时序集成网络，其中：

所述时序门单元包含由主动输入控制的两个门，一个为主动输入门，一个为被动输入门；

所述在编码端，对于N个层次的编码输出进行顺序地从下到上结合和选择具体为：在编码端，将高层的基编码器输出的高层编码特征输入到主动输入门，将顺序于该高层的低层的基编码器输出的低层编码特征输入到被动输入门，进行顺序的从下到上的结合和选择；