[发明专利]基于生物启发和深度属性学习相结合的人脸美感预测方法

权利要求书

1.基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于包括以下步骤：

1)人脸图像的预处理；

2)人脸显著特征位置的提取；

3)获取人脸图像的美感等级标签；

4)人脸美感模型的建立。

2.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理包括人脸检测、人脸关键点定位、人脸图像归一化处理。

3.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理的具体方法，包括以下步骤：

(1)对人脸图像进行人脸检测及人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位、基于人脸关键点位置的手工标注；

(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸；

(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。

4.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤2)中，所述人脸显著特征位置的提取的具体方法为：

(1)根据步骤1)中预处理后的人脸图像，由眼动仪获取用户观察图像时的眼动信息，通过眼动追踪仪获取用户的眼动扫描和追踪数据，计算用户眼球在图像的焦点位置；

(2)根据得到的用户眼球在图像的焦点位置，分析并提取用户关注的人脸显著特征点集合；

(3)将用户扫视过的人脸特征点的集合进行筛选；所述筛选为删除所有用户扫视过的人脸特征点频度小于5的特征点；

(4)将筛选后的用户扫视的人脸特征点进行聚类，得到所有用户关注的图像焦点位置，即聚类后的簇心，其中定义为凝视点，由凝视点得到用户的凝视区域，用户的凝视区域计算如下：

S＝d·tan(θ)

其中，S为用户的凝视区域，d为用户到实验主机屏幕的水平距离，θ为视觉广度，取值为6度；tan()为正切函数。

5.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤3)中，所述获取人脸图像的美感等级标签的具体方法为：针对步骤1)中预处理后的人脸图像，通过实验获取至少20用户对于人脸图像之间的美感相对排名，然后通过包括但不限于TrueSkill算法将美感的相对排名转换为人脸图像的美感评分，进而转化为美感等级标签。

6.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤4)中，所述人脸美感模型的建立的具体方法为：

(1)根据步骤2)得到的凝视区域，将步骤1)进行预处理之后的人脸图像凝视区域之外的区域进行高斯模糊处理；

(2)将人脸图像划分为训练集合和测试集合；

(3)根据步骤2)得到的用户观察人脸时的凝视区域及步骤3)得到的人脸图像的美感标签通过包括但不限于监督学习和卷积神经网络的方法训练出人脸美感评价模型。