[发明专利]一种基于眼动数据的修正型实时情感识别方法及系统

说明书

本发明公开了一种基于眼动数据的修正型实时情感识别方法及系统，在VR环境中实时采集眼动数据，利用眼动数据进行注视点预测；通过当前帧的全景图以及预测的下一帧注视点区域图得到初步情感状态；结合历史眼动数据对初步情感状态进行修正，得到当前时刻的最终情感状态。本系统能实时预测用户情感，提升用户在VR环境中的体验感。

技术领域

本发明涉及情感识别领域，具体涉及一种基于眼动数据的修正型实时情感识别方法及系统。

背景技术

随着虚拟现实技术应用的普及，人机交互越发受到重视。VR环境中的人机交互，例如眼动交互、语音交互、手势交互以及姿势交互等交互技术的研究都逐渐走向成熟。目前在情感交互方面，国内外大多数是基于表情或心率、脑电等生理参数的研究，而VR中基于眼动的情感交互研究却不多见，相关研究方法也存在着明显不足。但事实上，根据心理学研究，眼睛最能反映一个人的心理状态和情感。

在虚拟现实环境中，计算机能实时量化地理解人的情感，可以根据人的情感及时做出响应，这将给用户带来更舒适的体验感。目前，情感识别主要是依据脑电，如音频、图像、文本等材料。而脑电信号相对较微弱，抗干扰性小。人的情感是多种感觉、思想和行为综合产生的心理和生理状态，且存在着情绪唤醒效应，不能准确识别情感。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于眼动数据的修正型实时情感识别方法及系统。本发明充分利用眼动数据和虚拟场景信息在VR环境中进行情感识别，提高人类情感识别的准确率。

本发明采用如下技术方案：

一种基于眼动数据的修正型实时情感识别方法，包括如下步骤：

实时采集用户在VR环境中的眼动数据；

通过当前的眼动数据得到当前注视点区域图对当前注视点区域图和下一帧360°全景图进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图

通过当前的眼动数据得到当前视场图将输入CNN模型，提取图像特征，利用SVM得到初步情感状态E₁；

利用眼动情感预测模块得到情感状态E₂；

利用E2对E1进行修正，得到最终情感状态E3。

进一步地，在实时采集用户在VR环境中的眼动数据步骤之前，还包括采集用户在VR环境的历史眼动数据，并通过历史眼动数据得到历史注视点，并采用LSTM网络对历史注视点坐标进行编码。

进一步地，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图具体为：

通过当前的眼动数据得到当前注视点区域图所述当前注视点区域图是以当前注视点坐标为中心的显著性区域图；

考虑下一帧的注视点与当前注视点、当前注视点运动状态、用户观看习惯以及下一帧360°全景图像有关，利用CNN对和进行特征提取，其中I¹为360°全景图像，I²为注视点区域图，I³为视场图；

将提取的特征和经过编码的历史注视点坐标作为注视点区域预测模型的输入，得到下一帧的注视点的轨迹位移值，注视点区域预测模型的损失函数为：

其中T为当前时刻往后的T个帧的时间段，F(·,·,·)为网络模型函数，输出为注视点轨迹位移值，cur为特定帧数；

预测的下一帧注视点坐标为预测的下一帧注视点区域为以g′_t+1为中心的显著性区域。