[发明专利]用于针灸的基于深度学习的多模态情绪分析方法及系统

说明书

本发明提供了一种用于针灸的基于深度学习的多模态情绪分析方法及系统，属于情绪识别技术领域。本发明对面部表情特征采用Gabor小波变换进行特征提取，对脑电信号采用UPLBP进行特征提取，进行降维处理，然后将面部表情特征和脑电信号特征采用稀疏化线性融合，融合成为一个统一的、规范化的特征向量，并特征向量变换为张量形式，输入CNN‑LSTM网络进行训练，去除冗余信息并得到预测情绪分类信息，通过预测情绪分类信息与实际情绪分类信息对比，计算网络的损失函数和正确率。本发明通过将表情特征和脑电信号特征进行融合，去除冗余信息，经过CNN‑LSTM网络进行训练，得到预测情绪分类信息，提高了情绪识别准确率。

技术领域

本发明涉及情绪识别技术领域，尤其涉及一种用于针灸的基于深度学习的多模态情绪分析方法及系统。

背景技术

情绪识别是图像识别领域一个重要分支，它根据对人的外在表情或者内在生理信号，识别人的情绪的过程。情绪虽然是一种内部的主观体验，但它总是伴随着某种外部表现，这种外部表现也就是可以观察到的某些行为特征，会在人的面部、姿态和语调方面有所表现。同时，除了外在表现之外，情绪还会在人的身体内部产生与情绪有关的生理信号，心率和脑电信号都属于情绪所引起的生理信号。情绪分析与识别涉及多个学科领域，包括神经科学、心理学、认知科学、计算机科学和人工智能等，是一项交叉学科研究。

情绪识别方法一般分成两类：基于外在表情的识别和基于生理信号的识别。基于外在表情的情绪识别方法主要包括对面部表情和语调表情的识别。面部表情识别方法是根据情绪在面部表情的外在表现来识别不同的情绪；语调识别是根据情绪在语言表达方式的外在表现进行识别的。基于外在表情的缺点是不能保证情绪识别的可靠性，因为外在表情的体现与性格有关，另外，人们可以通过伪装面部表情和语音语调来掩饰自己的真实情绪，而这种伪装往往不易被发现。基于生理信号的情绪识别方法中，目前被广泛采用的是基于中枢神经系统的识别方法，原理是，人在不同情绪下在大脑都会产生不同的生理信号，也就是常说的脑电信号，通过识别脑电信号来识别不同的情绪，这种方法不易被伪装，识别率也较高。但同通过外在表情识别情绪相比，识别率还有待提高。情绪识别与分析越来越多地应用在广泛的领域，人们对情绪识别方法的探究也越来越多。

在中国专利申请文献CN107463874A中，公开了一种情绪识别方法，该方法包括以下步骤：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；对被测人脸图像和脑电信号分别处理，对人脸灰度图像进行特征提取，得到表情原始特征数据，对表情原始特征数据进行数据降维，得到表情特征值，将表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值，脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值，通过预先训练好的SVM分类器对脑电特征值进行特征分类，得到内心情绪参数值；对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；根据情绪融合参数值与预存的情绪融合数据库中对比，识别被测人脸的当前情绪，得到情绪信息。该方法将人脸表情与脑电信号结合用于情绪识别，将融合参数跟数据库中预存的融合参数相比，得到情绪信息。该方法仅对脑电图像进行了普通数据分析(例如均值、标准差和方差等)，没有趋势或曲线形态上的认知，因此提取的特征对分类准确性有一定影响；同时，该方法对于多模态特征的融合，无法提取空间序列化的特征。