[发明专利]一种基于CCA空间的人脸图像多层重构方法

摘要

本发明公开了一种基于CCA空间的人脸图像多层重构方法，其采用大尺寸对训练的低、高分辨率人脸图像及测试的低分辨率人脸图像分块，获得低分辨率字典和高分辨率字典；然后对两类字典进行一次CCA映射，并对两类一次映射的字典进行稀疏更新；接着对两类更新后的字典进行反映射，并对两类反映射字典进行再次CCA映射；之后通过计算两类再次映射的字典各自中的每列向量分别与测试的低分辨率图像中对应图像块的列向量的欧氏距离对字典排序，并通过基于平滑的超分辨率重构方法获得经一层重构的高分辨率人脸图像；再选择小尺寸进行分块，重复上述过程，并引入一层重构的高分辨率图像的约束，获得经二层重构的高分辨率人脸图像；优点是重构效果好。

主权项

1.一种基于CCA空间的人脸图像多层重构方法，其特征在于包括以下步骤：步骤一：选取一个人脸图像数据库，该人脸图像数据库中包含至少两幅低分辨率人脸图像及每幅低分辨率人脸图像对应的高分辨率人脸图像，将人脸图像数据库中的第n幅低分辨率人脸图像及其对应的高分辨率人脸图像对应记为和并将测试的低分辨率人脸图像记为其中，n为正整数，1≤n≤N，N表示人脸图像数据库中包含的低分辨率人脸图像的总幅数，N≥2，和的宽度均为W，和的高度均为H；步骤二：采用滑动窗口技术将人脸图像数据库中的每幅低分辨率人脸图像划分成S₁个相互重叠的尺寸大小为k₁×k₁的图像块，将中的第s₁个图像块记为同样，采用滑动窗口技术将人脸图像数据库中的每幅低分辨率人脸图像对应的高分辨率人脸图像划分成S₁个相互重叠的尺寸大小为k₁×k₁的图像块，将中的第s₁个图像块记为采用滑动窗口技术将划分成S₁个相互重叠的尺寸大小为k₁×k₁的图像块，将中的第s₁个图像块记为其中，滑动窗口的大小为k₁×k₁，k₁＝5,7,9,11，滑动窗口的滑动步长为1个像素点，S₁＝(W‑k₁+1)×(H‑k₁+1)，s₁为正整数，1≤s₁≤S₁；步骤三：将人脸图像数据库中的每幅低分辨率人脸图像中的每个图像块中的所有像素点的像素值排列构成对应的列向量，将对应的列向量记为同样，将人脸图像数据库中的每幅低分辨率人脸图像对应的高分辨率人脸图像中的每个图像块中的所有像素点的像素值排列构成对应的列向量，将对应的列向量记为将中的每个图像块中的所有像素点的像素值排列构成对应的列向量，将对应的列向量记为然后将人脸图像数据库中的所有低分辨率人脸图像中的同一位置的图像块对应的列向量构成一个低分辨率字典，共构成S₁个低分辨率字典，将人脸图像数据库中的所有低分辨率人脸图像中的第s₁个图像块对应的列向量构成的低分辨率字典记为同样，将人脸图像数据库中的所有高分辨率人脸图像中的同一位置的图像块对应的列向量构成一个高分辨率字典，共构成S₁个高分辨率字典，将人脸图像数据库中的所有高分辨率人脸图像中的第s₁个图像块对应的列向量构成的高分辨率字典记为其中，的维数均为(k₁×k₁)×1，的维数均为(k₁×k₁)×N，中的第n个列向量为中的第n个列向量为步骤四：计算每个低分辨率字典和每个高分辨率字典各自对应的投影矩阵，将对应的投影矩阵记为将对应的投影矩阵记为其中，和的维数均为L×(k₁×k₁)，L表示CCA空间的维度大小，L∈{1,2,…,k₁×k₁}；步骤五：将每个低分辨率字典从图像空间映射到CCA空间，得到对应的一次映射低分辨率字典，将对应的一次映射低分辨率字典记为同样，将每个高分辨率字典从图像空间映射到CCA空间，得到对应的一次映射高分辨率字典，将对应的一次映射高分辨率字典记为其中，和的维数均为L×N；步骤六：计算每个一次映射低分辨率字典的稀疏系数向量，将的稀疏系数向量记为通过计算得到；然后利用每个一次映射低分辨率字典的稀疏系数向量对该一次映射低分辨率字典进行一次稀疏更新，得到每个一次映射低分辨率字典更新后的字典，将更新后的字典记为若中的第n个元素为非零元素，则将中的第n列向量提取出来，再将从中提取出的所有列向量按原顺序构成同样，对每个一次映射高分辨率字典进行一次稀疏更新，得到每个一次映射高分辨率字典更新后的字典，将更新后的字典记为若中的第n个元素为非零元素，则将中的第n列向量提取出来，再将从中提取出的所有列向量按原顺序构成其中，的维数为N×1，argmin()表示求残差最小值，符号“|| ||₂”为l₂范数正则项运算符号，符号“|| ||₁”为l₁范数正则项运算符号，λ₁为一个常数，λ₁∈(0,1)，和的维数为L×M，M表示中的非零元素的总个数，1≤M＜N；步骤七：将每个一次映射低分辨率字典更新后的字典从CCA空间反映射回图像空间，得到对应的反映射低分辨率字典，将对应的反映射低分辨率字典记为同样，将每个一次映射高分辨率字典更新后的字典从CCA空间反映射回图像空间，得到对应的反映射高分辨率字典，将对应的反映射高分辨率字典记为其中，和的维数为(k₁×k₁)×M；步骤八：计算每个反映射低分辨率字典和每个反映射高分辨率字典各自对应的投影矩阵，将对应的投影矩阵记为将对应的投影矩阵记为其中，和的维数均为L×(k₁×k₁)，L表示CCA空间的维度大小，L∈{1,2,…,k₁×k₁}；步骤九：将每个反映射低分辨率字典从图像空间映射到CCA空间，得到对应的再次映射低分辨率字典，将对应的再次映射低分辨率字典记为同样，将每个反映射高分辨率字典从图像空间映射到CCA空间，得到对应的再次映射高分辨率字典，将对应的再次映射高分辨率字典记为将中的每个图像块从图像空间映射到CCA空间，得到中的每个图像块对应的一次映射块，将对应的一次映射块记为将中的每个图像块对应的一次映射块中的所有像素点的像素值排列构成对应的列向量，将对应的列向量记为其中，和的维数均为L×M，的维数为L×1；步骤十：计算每个再次映射低分辨率字典中的每列向量与中的每个图像块对应的一次映射块对应的列向量的欧氏距离，针对计算中的每列向量与的欧氏距离，针对共得到M个欧氏距离；然后针对每个再次映射低分辨率字典得到的M个欧氏距离，对M个欧氏距离按从大到小的顺序进行排序；再根据针对每个再次映射低分辨率字典得到的M个欧氏距离的大小顺序，对每个再次映射低分辨率字典中的所有列向量进行位置调整，重组得到对应的重组低分辨率字典，将对应的重组低分辨率字典记为中的第1个列向量与的欧氏距离最大，中的最后一个列向量与的欧氏距离最小；其中，的维数为L×M；同样，计算每个再次映射高分辨率字典中的每列向量与中的每个图像块对应的一次映射块对应的列向量的欧氏距离，针对计算中的每列向量与的欧氏距离，针对共得到M个欧氏距离；然后针对每个再次映射高分辨率字典得到的M个欧氏距离，对M个欧氏距离按从大到小的顺序进行排序；再根据针对每个再次映射高分辨率字典得到的M个欧氏距离的大小顺序，对每个再次映射高分辨率字典中的所有列向量进行位置调整，重组得到对应的重组高分辨率字典，将对应的重组高分辨率字典记为中的第1个列向量与的欧氏距离最大，中的最后一个列向量与的欧氏距离最小；其中，的维数为L×M；步骤十一：计算中的每个图像块的第一稀疏系数向量，将的第一稀疏系数向量记为通过计算得到；然后将经一层重构后得到的高分辨率人脸图像记为将中与位置对应的区域记为将中的所有像素点的像素值排列构成的列向量记为其中，的维数为M×1，m为正整数，1≤m≤M，λ₂和λ₃均为常数，λ₂∈(0,1)，λ₃∈(0,1)，表示中的第m个元素，表示中的第m列向量，表示中的第m‑1个元素；步骤十二：改变滑动窗口的大小，使其大小为k₂×k₂；然后按照步骤二至步骤十的过程，以相同的方式获得S₂个重组低分辨率字典和S₂个重组高分辨率字典，将第s₂个重组低分辨率字典记为将第s₂个重组高分辨率字典记为接着计算中的每个图像块的第二稀疏系数向量，将中的第s₂个图像块的第二稀疏系数向量记为通过计算得到；再将经二层重构后得到的高分辨率人脸图像记为将中与位置对应的区域记为将中的所有像素点的像素值排列构成的列向量记为其中，和的维数为L×M，k₂＝3,5,7,9且1＜k₂＜k₁，S₂表示采用滑动窗口技术将人脸图像数据库中的每幅低分辨率人脸图像及其对应的高分辨率人脸图像、划分成的相互重叠的尺寸大小为k₂×k₂的图像块的总个数，S₂＝(W‑k₂+1)×(H‑k₂+1)，1≤s₂≤S₂，的维数为M×1，为按照获取的过程以相同的方式获得的投影矩阵，表示中的所有像素点的像素值排列构成对应的列向量，表示中的第m个元素，表示中的第m‑1个元素，表示中的第m列向量，λ₄为一个常数，λ₄∈(0,1)，为按照获取的过程以相同的方式获得的投影矩阵，表示中与相对应的区域中的所有像素点的像素值排列构成对应的列向量，表示中的第m列向量。