[发明专利]一种基于眼动数据的修正型实时情感识别方法及系统

权利要求书

1.一种基于眼动数据的修正型实时情感识别方法，其特征在于，包括如下步骤：

实时采集用户在VR环境中的眼动数据；

通过当前的眼动数据得到当前注视点区域图对当前注视点区域图和下一帧360°全景图进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图

所述将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图具体为：

通过当前的眼动数据得到当前注视点区域图所述当前注视点区域图是以当前注视点坐标为中心的显著性区域图；

考虑下一帧的注视点与当前注视点、当前注视点运动状态、用户观看习惯以及下一帧360°全景图像有关，利用CNN对和进行特征提取，其中I¹为360°全景图像，I²为注视点区域图，I³为视场图；

将提取的特征和经过编码的历史注视点坐标作为注视点区域预测模型的输入，得到下一帧的注视点的轨迹位移值，注视点区域预测模型的损失函数为：

其中T为当前时刻往后的T个帧的时间段，F(·,·,·)为网络模型函数，输出为注视点轨迹位移值，cur为特定帧数；

预测的下一帧注视点坐标为预测的下一帧注视点区域为以为中心的显著性区域；

通过当前的眼动数据得到当前视场图将输入CNN模型，提取图像特征，利用SVM得到初步情感状态E；

利用眼动情感预测模块得到情感状态E₂；

利用E₂对E₁进行修正，得到最终情感状态E₃。

2.根据权利要求1所述的修正型实时情感识别方法，其特征在于，在实时采集用户在VR环境中的眼动数据步骤之前，还包括采集用户在VR环境的历史眼动数据，并通过历史眼动数据得到历史注视点，并采用LSTM网络对历史注视点坐标进行编码。

3.根据权利要求1所述的修正型实时情感识别方法，其特征在于，所述通过当前的眼动数据得到当前视场图将输入CNN模型，提取图像特征，利用SVM定性得到初步情感状态E，具体为：

利用CNN模型对进行特征提取，得到特征向量集合其中

利用SVM得到初步情感状态E，其中E∈{1，2，3，4，5，6}，其中为RBF核，E为SVM中二分类值，采用一对多策略得到分类结果E，Y₁＝[y₁，y₂，...y_N-1，y_N]为训练样本标签的定性值。

4.根据权利要求1所述的修正型实时情感识别方法，其特征在于，所述利用眼动情感预测模块得到情感状态E₂步骤，具体为：

提取前t帧时间段的眼动数据，得到眼动数据的时间序列其中i指的第i个人，n指的第n维眼动数据；

眼动情感预测模块输入信号为眼动数据X₂，输出为情感分布向量E₂，[e₁，e₂，e₃，e₄，e₅，e₆]，e_max为情感分布向量中的最大值，e_i为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且网络的损失函数为：

其中Y₂＝[y₁，y₂，...y_N-1，y_N]为训练样本标签的定量值，y_i为训练样本标签的情感分布向量，y_i＝[e₁，e₂，e₃，e₄，e₅，e₆]，e_i为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，目