[发明专利]基于眼睛凝视热力图的人格预测方法

权利要求书

1.一种基于眼睛凝视热力图的人格预测方法，其特征在于，包括：

获取被测试人观看刺激视频时的面部活动视频；

根据所述面部活动视频，确定所述被测试人眼睛凝视热力图；

从所述眼睛凝视热力图提取特征；

将从所述眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出所述被测试人的人格预测值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述面部活动视频，确定所述被测试人眼睛凝视热力图包括：

根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图；

根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述眼睛凝视热力图提取特征之后，还包括：

获取所述被测试人观看所述刺激视频的情感特征及人格特征；

根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型；

根据所述人格特征及所述六种情感，得到所述训练后的人格预测模型。

4.根据权利要求2所述的方法，其特征在于，所述根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图包括：

应用所述深度学习模型对所述面部活动视频进行处理，所述面部活动视频的每一帧得到一组数据，每组数据包括拍摄所述面部活动视频的摄像头与所述被测试人面部的相对坐标(Dx，Dy，Dz)，以及所述被测试人眼睛凝视角度的空间向量(x，y，z)，；其中，Dx，Dy，Dz分别表示所述被测试人面部与所述摄像头在X、Y、Z轴上的相对距离，所述空间向量(x，y，z)表示一个相对于所述摄像头平面的三维向量；

获取所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标

使用坐标公式计算得到所述面部活动视频的每一帧所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标，从而得出所述被测试人眼睛凝视点分布图。

5.根据权利要求2或4所述的方法，其特征在于，所述根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图包括：

将所述眼睛凝视点分布图中凝视点的坐标值调整为-1～1范围内；

采用向下取整的方法将各凝视点离散化到一个二维数组，得到所述眼睛凝视热力图，所述二维数组大小为n*n，n的值选取到内。

6.根据权利要求1或5所述的方法，其特征在于，所述从所述眼睛凝视热力图提取特征包括：

应用卷积网络提取眼睛凝视热力图的内隐特征，并提取眼睛凝视热力图的方向梯度直方图HOG特征，用所述眼睛凝视热力图中的梯度变化反映眼睛注视角度的变化。

7.根据权利要求3或6所述的方法，其特征在于，所述获取所述被测试人观看所述刺激视频的情感特征及人格特征包括：

获取所述被测试人提供的观看刺激视频的所述情感特征，所述情感特征包括高兴、惊奇、厌恶、悲伤、愤怒和恐惧；

获取所述被测试人提供的观看刺激视频的所述人格特征，所述人格特征包括五种人格：神经质性Neuroticism、外向性Extroversion、开放性Openness、随和性Agreeableness和尽责性Conscientiousness。

8.根据权利要求3或7所述的方法，其特征在于，所述根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型包括：

将从所述眼睛凝视热力图提取的特征作为输入特征向量，并对提取的特征的特征值进行正则化处理，将所述情感特征作为标签，使用深度神经网络，通过前向传播和反向传播计算得所述六种情感的预测模型。