[发明专利]用于预测脸部属性的方法和设备

说明书

公开用于预测脸部属性标签的设备和方法。该设备可包括：第一位置预测装置，用于预测输入的脸部图像中的头‑肩位置；第二位置预测装置，其用于从预测的头‑肩位置来预测输入的脸部图像中的脸部位置；以及属性预测装置，用于从脸部位置提取一个或多个脸部表示并且根据提取的脸部表示对输入的脸部图像的所需属性进行分类。

技术领域

本申请涉及用于在自然环境下预测脸部属性的方法和设备。

背景技术

诸如表情、种族和发型等脸部属性在很多应用中是有益的，诸如，图像标签和脸部验证。因为大背景混乱和脸部变化，诸如，比例、姿势和照明，从网络图像中预测脸部属性具有一定的难度。用于属性识别的现有方法首先检测脸部及其关键点，随后从在关键点上居中的图像块中提取高维特征，诸如，HOG(方向梯度直方图)或LBP(局部二值模式)。这些特征被连接起来训练分类器。

尽管上述流水线适于受控环境，但在处理网络图像时具有缺点。它很大程度上取决于脸部和关键点检测的精度，而这在网络图像中是不可靠的。多数现有技术都因为在错误的关键点位置提取特征，因此无法成功地实现脸部检测和对齐。脸部检测也具有模糊性。

在预定义关键点处手工制作特征，诸如，方向梯度直方图、LBP(局部二值模式)和GIST(空间包络)是属性识别的标准步骤。已经提议将HOG和颜色直方图组合，以允许逻辑回归，以便基于属性进行对象搜索和加标签。还提出了在各种脸部区域上提取HOG类特征，以解决属性分类和脸部验证的问题。为了在给定具体任务的情况下提高手工制作的特征的鉴别性，已建立三层SVM系统，以提取更高级的信息。各种手工制作的特征已进行组合，以获得特定域(particular domain)的中间表示。

近来，归因于能够学习紧凑的鉴别性特征，深度学习方法已经在属性推断方面取得巨大成功。已经证明，由ImageNet的卷积网络(CNN)学习的现成特征可以有效地适应于属性分类。还已表明，通过整合多个姿势归一化的CNN所学习的特征，可以实现更好的性能。已经设计出了具体的网络结构用于属性预测。在本领域中，已经引入深度的和-积(sum-product)架构，以在属性推断期间应对环境遮挡(occlusion)。上述方法的主要缺点在于，它们在很大程度上依赖于训练和测试步骤中的准确关键点检测和姿势估计。即使近期工作可以在测试期间自动地执行部分定位，但仍需要训练数据的关键点标注。

发明内容

本申请提议用于在自然环境下进行脸部属性预测的深度学习框架。本发明解决了在自然环境下预测脸部属性的问题。具体而言，目标是用脸部属性标签(例如，“男性”、“年轻人”、“面带微笑”、“戴着帽子”、“大眼睛”、“鸭蛋脸”和“小胡子”等)自动地给原始网络图像加标签。

所提议的深度学习框架并不依赖于脸部和关键点检测。相反，它将两个卷积装置(CNN)级联，其中一个(LNet)用来定位脸部区域并且另一个(ANet)用来从整个定位的脸部区域(没有关键点)中提取高级脸部表示，以用于属性预测。

采用弱监督方式来训练LNet和ANet，即，只提供训练图像的属性标签。这根本不同于训练脸部和关键点检测器，其中需要脸部边界框和关键点位置。这使得训练数据的准备更容易。LNet和ANet首先以不同的方式进行预先训练，随后与属性标签共同进行训练。

其次，针对LNet和ANet设计不同的预先训练和微调策略。不同于具有正(脸部)样本和负(非脸部)样本的训练脸部检测器，通过将大量的通用对象类别进行分类来预先训练LNet。因此，预先训练的特征在处理各种背景混乱方面具有良好的泛化能力。随后通过预测属性来微调LNet。由属性预测学习的特征可以捕获丰富的脸部变化，并且可有效用于脸部定位。也可以更好地区别脸部与类似图案(诸如，猫脸)之间的细微差异。通过将大量的脸部身份进行分类来预先训练ANet，以获取鉴别性脸部表示。随后，由属性预测任务进行微调。