[发明专利]一种基于智能眼镜的情绪识别方法

说明书

本发明公开一种基于智能眼镜的情绪识别方法，在智能眼镜设备上，将单眼区域图像作为输入，喜悦、惊奇、恐惧、愤怒、悲伤、厌恶和中立七种表情；训练阶段，输入单眼区域图像，联合训练广义特征提取器和加速器；个性化阶段，通过广义特征提取器为录制视频中的每一帧提取特征，获取七个代表七种表情的特征；同时通过广义特征提取器的共享模块和加速器，为输入的每一帧提取特征，计算相应表情加速器对应的触发阈值；识别阶段，利用广义特征提取器的共享部分提取图像的特征，并通过加速器判断当前帧图像与前一帧图像的相似程度，如果相似，使用前一个类别标签作为当前帧图像的输出，否则，通过广义特征提取器的识别部分提取特征并判断其表情类别。

技术领域

本发明涉及一种基于智能眼镜的情绪识别方法，属于面部表情图像识别技术领域。

背景技术

个人智能眼镜设备，比如增强实现设备AR，虚拟现实设备VR，正在改变我们的生活。Oculus等VR设备给用户带来了非物理世界的沉浸式体验，而像HoloLens这样的AR设备在真实世界中和各种网络虚构的对象互动。我们设想这些个人眼镜设备将成为个人设备的中心枢纽，并在未来被用户大量使用。

在这些设备上，与用户的智能交互绝对是至关重要的，也是最重要的开发目标。眼镜设备需要经常代表用户本人与其他个人设备所有者通信。与智能手机等其他设备相比，智能通信水平基本上决定了所有者的用户体验及其偏好。影响智能设备的智能水平的一个关键因素是情绪识别能力，智能眼镜可以在适当的时间点感知所有者的精神变化并执行适当的操作。例如，生活日志记录是AR设备上的一种常用应用程序，作为基于视频的个人日记。记录视频中的大多数内容对用户来说都很无聊甚至无用。通过情感识别，眼镜设备可以智能地捕捉其拥有者的情感时刻，并制作紧凑的、有意义的生活记录摘要。这种方法也可以应用于其他情况，如个性化电影预告片制作，智能家居设置调整等。

然而，在这些智能眼镜中，目前缺少合适的情绪识别方法。传统技术依赖于整个面部的表情，但是很多情况下难以拍摄到完整的面部表情。有些方法引入了特殊硬件来感知用户的情绪，由于要增加额外的感知设备，往往使用户感到不便，还会增加额外的成本。

发明内容

发明目的：经调查研究发现，许多智能眼镜，比如FOVE、Tobii、Pupil等，都内置了摄像头，用于凝视检测等用途。这种带有内置摄像头的智能眼镜往往能实时的拍摄用户的眼睛区域。调查表明，在AR/VR设备的标准硬件组件中添加这种摄像头将成为未来的一种趋势。因此，我们想研究一种新的基于视觉的个人情绪识别方法，仅基于单眼区域的变化识别用户当前的感情，即一种基于智能眼镜的情绪识别方法。

技术方案：一种基于智能眼镜的情绪识别方法，在智能眼镜设备上，将单眼区域图像作为输入，识别出喜悦、惊奇、恐惧、愤怒、悲伤、厌恶和中立七种表情。具体实现过程为：训练阶段，输入单眼区域图像，联合训练广义特征提取器和加速器，广义特征提取器提取特征并判断输入图像的类别(表情)，加速器判断是否可以节省不必要的计算，从而实现加速；个性化阶段，由于不同的人对不同的表情有不同的表达，通过个性化模块分别录制用户自己七种表情的七段视频，通过广义特征提取器为录制视频中的每一帧提取特征，获取七个代表七种表情的特征。同时通过广义特征提取器的共享模块和加速器，为输入的每一帧提取特征，计算相应表情加速器对应的触发阈值；识别阶段，通过智能眼镜设备上的内向的红外摄像头拍摄用户单眼睛区域图像，利用广义特征提取器的共享部分提取图像的特征，并通过加速器计算当前帧图像与前一帧图像特征之间的距离，从而判断当前帧图像与前一帧图像的相似程度，如果相似，使用前一个类别标签作为当前帧图像的输出，否则，通过广义特征提取器提取特征并判断其表情类别。

训练阶段，所述特征提取器为ResNet26网络，在ResNet26网络中，输入为64x64单眼睛区域图像，全部使用3x3的卷积，网络层数设置为26层。

ResNet26网络损失函数定义为交叉熵：