[发明专利]基于非对称联合学习的人脸画像-照片识别方法

权利要求书

1.一种基于非对称联合学习的人脸画像-照片识别方法，其特征在于，包括如下步骤：

(1)获得训练样本集和测试样本集：

(1a)从画像-照片样本对集中，随机取出M对一一对应的画像-照片样本对，组成训练样本集，2≤M≤U-2，U表示样本集中人脸画像-照片样本对的总数；

(1b)将画像-照片样本对集中剩余的画像-照片样本对，组成测试样本集；

(2)划分样本子集：

(2a)从训练样本集中随机取出K张人脸画像，组成训练画像样本子集，2≤K≤M-2，将训练样本集中剩余的人脸画像，组成测试画像样本子集；

(2b)从训练样本集中取出与训练画像样本子集的样本一一对应的人脸照片，组成训练照片样本子集，将训练样本集中剩余的人脸照片，组成测试照片样本子集；

(3)获得训练伪样本集：

(3a)将训练照片样本子集中的样本，划分为大小相同、相互重叠的训练照片块矩阵；

(3b)对测试画像样本子集与训练画像样本子集进行联合学习，得到每个测试画像的重构系数向量，将重构系数向量中的每个元素与一一对应的训练照片块矩阵相乘，得到重构人脸照片块；

(3c)依次拼接重构人脸照片块，得到每个训练照片伪样本，将所有的训练照片伪样本组成训练照片伪样本子集；

(3d)将训练画像样本子集中的每个样本划分为大小相同、相互重叠的训练画像块矩阵；

(3e)对测试照片样本子集与训练照片样本子集进行联合学习，得到每个测试照片的重构系数向量，将重构系数向量中的每个元素与一一对应的训练画像块矩阵相乘，得到重构人脸画像块；

(3f)依次拼接重构人脸照片块，得到每个训练画像伪样本，组成训练画像伪样本子集；

(4)构建非对称特征矩阵：

(4a)分别将训练样本集、训练伪样本集中画像-照片对的每个样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中所有的神经元输出值，组成每个样本的深度特征向量；

(4b)将所有样本的深度特征向量，组成非对称联合学习类内特征矩阵；

(4c)将训练样本集中每个画像-照片对的画像深度特征向量与照片深度特征向量相加后取平均，将所有画像-照片对的平均向量组成非对称联合学习类间特征矩阵；

(5)计算非对称联合学习矩阵：

(5a)利用协方差公式，分别计算类内协方差矩阵和类间协方差矩阵；

(5b)利用非对称联合学习公式，计算非对称联合学习矩阵；

(6)利用非对称联合学习矩阵，计算每个画像样本与每个照片样本的相似度值：

(6a)将测试样本集中每个画像样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试画像样本的深度特征向量；

(6b)将测试样本集中每个照片样本，依次输入到深度卷积网络VGG-Face中，将深度卷积网络VGG-Face输出层中每个神经元的输出值，组成每个测试照片样本的深度特征向量；

(6c)根据联合相似度公式，利用非对称联合学习矩阵和测试样本的特征向量，计算测试样本集中每个画像样本和每个照片样本的相似度；

(7)从所有照片样本中，找出与每个画像样本相似度数值最大的照片样本，作为识别结果。