[发明专利]人脸属性识别方法及装置

权利要求书

1.一种人脸属性识别方法，其特征在于，包括步骤：

利用深度残差网络对已收集的人脸图像的人脸属性进行训练，得到带有多种人脸属性特征的多属性网络训练模型，人脸属性包括年龄、性别、眼镜、头部姿态、胡须、眼睛状态和微笑程度中的二种或二种以上；

运用得到的所述多属性网络训练模型来对待识别图像的人脸属性进行多属性预测，以识别所述待识别图像中的多种人脸属性；

所述运用得到的所述多属性网络训练模型来对待识别图像的人脸属性进行多属性预测，以识别所述待识别图像中的多种人脸属性的步骤包括：

将所述待识别图像输入所述多属性网络训练模型，提取所述待识别图像中的多属性人脸特征，网络输出1000维特征向量；

将提取的所述多属性人脸特征分别输入对应的全连接层，得到设定维度的人脸图像多属性预测特征，对于年龄属性，将多属性网络训练模型网络输出的1000维特征向量输入对应的全连接层fc₁，在全连接层fc₁中输出具有80维年龄特征的人脸图像多属性预测特征，对于其他属性，将1000维特征向量输入对应的全连接层fc_m，在全连接层fc_m中输出具有2维特征的人脸图像多属性预测特征；

将所述全连接层的输出结果送入softmax层，计算出所述多属性人脸特征的最大概率值，以识别所述待识别图像中的多种人脸属性；

其中，对于年龄属性，对于每个年龄挑选N张图像作为标准年龄图像，生成维度与年龄对应的80维年龄特征f作为标准年龄特征基，对于每张待识别图像同样提取80维年龄特征f，并计算80维年龄特征f与标准年龄特征基之间的权重：

其中，f为80维年龄特征，为特征基中第a幅图像特征，将ε_a乘以图像a对应的标准的标签label作为图像a对于年龄预测的贡献值，将年龄特征基中所有图像贡献值对应维度相加所得到的80维向量，则为最终预测结果，80维向量中最大值对应维度即为预测年龄；

所述利用深度残差网络对已收集的人脸图像的人脸属性进行训练，得到带有多种人脸属性特征的多属性网络训练模型的步骤包括：

将已收集的人脸图像输入深度残差网络，利用所述深度残差网络的网络结构提取所述人脸图像中的人脸属性特征，以在所述深度残差网络中输出人脸特征向量；

对所述深度残差网络进行拓展，将所述深度残差网络输出的所述人脸特征向量集中训练成多属性网络模型；

所述对所述深度残差网络进行拓展，将所述深度残差网络输出的所述多属性特征向量集中训练成多属性网络模型的步骤包括：

在所述深度残差网络的网络结构后面添加深度神经网络的全连接层，使所述全连接层与所述深度残差网络输出的所述人脸特征向量对应连接；

将所述深度残差网络中输出的所述人脸特征向量对应输入到所述全连接层上，得到设定维度的人脸特征训练图像的多属性特征；

在所述深度残差网络的网络结构后面添加深度神经网络的损失函数层，使所述损失函数层与所述深度残差网络中的输出层对应相连，获取所述多属性人脸特征训练图像中的训练数据集标签，计算出所述深度残差网络中所述多属性人脸特征训练图像前向传播时的损失；

其中，对于年龄为age的训练图像，多属性人脸特征训练图像的年龄标签为：

其中，σ_age为该年龄对应标准差，i取值从1到80表示预测年龄范围为1岁到80岁，对于不同年龄设置σ_age有区别，年龄10岁以及年龄70岁设置更小的σ_age，从而可以避免边缘年龄识别向中间年龄段偏移的问题；

将全连接层fc₁输出的多属性人脸特征训练图像中的80维年龄特征通过softmax层，输出多属性人脸特征训练图像属于每个年龄的概率，softmax运算如下：

其中，x为输入向量，p为输出概率，交叉熵函数能够更好的度量两个概率分布之间的距离，因此计算输出年龄概率p＝[p₁,p₂,…,p₈₀]和标签q＝[q₁,q₂,…,q₈₀]之间的损失使用的交叉熵代价函数，对于训练样本标签，如下式所示：

其中，N为训练图像张数，i为对应年龄维度；

对于除年龄属性外的其他属性使用Softmax损失函数计算代价并进行优化，Softmax代价函数如下所示：

其中，p_j为softmax运算概率值，j为多属性人脸特征训练图像真实的类别编号。

2.一种人脸属性识别装置，其特征在于，包括：

训练模块(10)，用于利用深度残差网络对已收集的人脸图像的人脸属性进行训练，得到带有多种人脸属性特征的多属性网络训练模型，人脸属性包括年龄、性别、眼镜、头部姿态、胡须、眼睛状态和微笑程度中的二种或二种以上；

预测模块(20)，用于运用得到的所述多属性网络训练模型来对待识别图像的人脸属性进行多属性预测，以识别所述待识别图像中的多种人脸属性；

所述预测模块(20)包括第二提取单元(21)、获取单元(22)和计算单元(23)，

所述第二提取单元(21)，用于将所述待识别图像输入所述多属性网络训练模型，提取所述待识别图像中的多属性人脸特征，网络输出1000维特征向量；

所述获取单元(22)，用于将提取的所述多属性人脸特征分别输入对应的全连接层，得到设定维度的人脸图像多属性预测特征，对于年龄属性，将多属性网络训练模型网络输出的1000维特征向量输入对应的全连接层fc₁，在全连接层fc₁中输出具有80维年龄特征的人脸图像多属性预测特征，对于其他属性，将1000维特征向量输入对应的全连接层fc_m，在全连接层fc_m中输出具有2维特征的人脸图像多属性预测特征；

所述计算单元(23)，用于将所述全连接层的输出结果送入softmax层，计算出所述多属性人脸特征的最大概率值，以识别所述待识别图像中的多种人脸属性；

其中，对于年龄属性，对于每个年龄挑选N张图像作为标准年龄图像，生成维度与年龄对应的80维年龄特征f作为标准年龄特征基，对于每张待识别图像同样提取80维年龄特征f，并计算80维年龄特征f与标准年龄特征基之间的权重：

其中，f为80维年龄特征，为特征基中第a幅图像特征，将ε_a乘以图像a对应的标准的标签label作为图像a对于年龄预测的贡献值，将年龄特征基中所有图像贡献值对应维度相加所得到的80维向量，则为最终预测结果，80维向量中最大值对应维度即为预测年龄；

所述训练模块(10)包括第一提取单元(11)和拓展单元(12)，

所述第一提取单元(11)，用于利用所述深度残差网络的网络结构提取所述人脸图像中的人脸属性特征，以在所述深度残差网络中输出人脸特征向量；

所述拓展单元(12)，用于对所述深度残差网络进行拓展，将所述深度残差网络输出的所述多属性特征向量集中训练成多属性网络模型；

所述拓展单元(12)包括连接子单元(121)和训练图像获取子单元(122)，

所述连接子单元(121)，用于在所述深度残差网络的网络结构后面添加深度神经网络的全连接层，使所述全连接层与所述深度残差网络输出的所述人脸特征向量对应连接；

所述训练图像获取子单元(122)，用于将所述深度残差网络中输出的所述人脸特征向量对应输入到所述全连接层上，得到设定维度的人脸特征训练图像的多属性特征；

所述拓展单元(12)还包括损失计算子单元(123)，

所述损失计算子单元(123)，用于在所述深度残差网络的网络结构后面添加深度神经网络的损失函数层，使所述损失函数层与所述深度残差网络中的输出层对应相连，获取所述多属性人脸特征训练图像中的训练数据集标签，计算出所述深度残差网络中所述多属性人脸特征训练图像前向传播时的损失；

其中，对于年龄为age的训练图像，多属性人脸特征训练图像的年龄标签为：

其中，σ_age为该年龄对应标准差，i取值从1到80表示预测年龄范围为1岁到80岁，对于不同年龄设置σ_age有区别，年龄10岁以及年龄70岁设置更小的σ_age，从而可以避免边缘年龄识别向中间年龄段偏移的问题；

将全连接层fc₁输出的多属性人脸特征训练图像中的80维年龄特征通过softmax层，输出多属性人脸特征训练图像属于每个年龄的概率，softmax运算如下：

其中，x为输入向量，p为输出概率，交叉熵函数能够更好的度量两个概率分布之间的距离，因此计算输出年龄概率p＝[p₁,p₂,…,p₈₀]和标签q＝[q₁,q₂,…,q₈₀]之间的损失使用的交叉熵代价函数，对于训练样本标签，如下式所示：

其中，N为训练图像张数，i为对应年龄维度；

对于除年龄属性外的其他属性使用Softmax损失函数计算代价并进行优化，Softmax代价函数如下所示：

其中，p_j为softmax运算概率值，j为多属性人脸特征训练图像真实的类别编号。