[发明专利]一种基于上下文信息的非线性拓展的人脸幻构方法

说明书

本发明公开了一种基于上下文信息的非线性拓展的人脸超分辨率方法，该方法首先通过上下文块对上下文信息进行抽样，以丰富人脸图像表示的先验信息，并在正则化目标函数时利用设置阈值对上下文字典进行降维，然后利用高斯核函数将原始数据转化为核空间，通过协作表示建立高低分辨率图像之间的非线性关系，最后采用上下文残差学习重建出待测图像。本方法通过高斯核函数建立高低分辨率图像之间的非线性映射，并将高维特征空间中的非线性问题表示为线性问题。此外，它还使用上下文残差学习来获得更准确的图像表示的先验信息，提高了重建的性能。

技术领域

本发明涉及图像识别技术，尤其涉及一种基于上下文信息的非线性拓展的人脸幻构方法。

背景技术

超分辨率在各种实际应用中扮演着重要的角色，例如遥感、医学成像和视频监控。人脸幻构是一种典型的超分辨率算法，它是指从单个或多个低分辨率(Low–resolution,LR)图像中恢复出一个高分辨率(High–resolution，HR)图像。

从如何对映射函数进行建模，可以将人脸超分辨率算法分为两类:线性方法和非线性方法。

线性方法假设每个输入图像可以通过字典原子的线性组合来表示，或者直接使用LR和HR关系的线性回归。Wang等提出了一个全局线性模型来表示特征脸空间中的LR图像。虽然线性方法简单有效，但线性假设限制了训练数据中先验信息的表达能力。非线性方法使用虚拟的非线性方法来模拟LR和HR关系，以克服线性方法的局限性。许多使用非线性方法的超分辨率算法取得了很好的效果。最近，深度学习为超分辨率任务提供了一个端到端的学习模型。深层网络结构通过非线性方法描述图像特征。Dong等人首先提出了利用非线性映射进行超分辨率的卷积神经网络。Kim等人通过深度残差网络，利用递归子网络单元来准确表示图像。Ledig等利用对抗生成网络渲染图像的逼真度。

上述的人脸幻构方法达到了良好的重建效果。然而，这些方法有两个缺点:首先，以上方法在重建时优先考虑位置信息，而忽略图像中的上下文信息和成像的非线性本质。其次，基于深度学习的方法具有非线性表示能力，但训练网络是依赖硬件(GPU)并且非常耗时。基于上下文信息块的启发，我们提出了一种简单有效的上下文信息的非线性扩展方法，以获得更好的重建性能。通过高斯核函数将原始数据扩展到高维核空间，然后使用协作表达约束来表示上下文信息。最后，在残差域重建HR图像。

我们所提出的非线性方法易于实施，且其性能优于一些基于深度学习的方法。通过描述LR和HR图像之间的复杂关系，以探索准确的高频信息。我们提出的上下文信息非线性拓展是与深度学习不同的非线性表示方法。在本文中，和基于位置块的方法相比，我们提出的方法能够利用上下文块提供更多的非局部信息，而且，在残差域也会比像素域具有更好的表示能力。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于上下文信息的非线性拓展的人脸幻构方法。

本发明解决其技术问题所采用的技术方案是：一种基于上下文信息的非线性拓展的人脸幻构方法，包括以下步骤：

S1，根据训练集中的高分辨率人脸图像获得残差字典：对训练集中的高分辨率人脸图像进行加模糊下采样得到对应的低分辨率人脸图像，再将低分辨率人脸图像插值到与原高分辨率人脸图像同样的大小后，对高分辨率人脸图像和低分辨率人脸图像通过上下文块对上下文信息进行重叠取块，形成相应的上下文HR字典

和上下文LR字典其中，N表示训练样本个数；我们定义的上下文块的大小(是整数)在一个大的窗口大小ω×ω集中在这个块。在这个大的窗口我们使用步长e取样多个块,上下文块的数量c可以通过窗口大小ω,块大小和步长e表示：

然后将高分辨率字典减去低分辨率字典得到残差字典；

S2，运用高斯核函数，将低分辨率字典转换到内核空间，得到在内核空间的低分辨率字典(表达字典)；