[发明专利]多模态连续情感识别方法、服务推理方法及系统

说明书

本发明公开了本发明提供了一种多模态连续情感识别方法、服务推理方法及系统。所述方法包括：获取包含用户面部表情和语音的视频数据；对于视频图像序列，提取人脸图像，对人脸图像进行特征提取，得到表情情感特征；根据表情情感特征进行连续情感识别；对于语音数据，获取语音情感特征；根据语音情感特征，进行连续情感识别，将表情情感识别结果和语音情感识别结果相融合，克服了单模态在连续情感识别存在的缺点，提升了情感识别精度；在此基础上，基于多实体贝叶斯网络模型进行服务推理，使得服务机器人能够针对用户情绪对服务动态的做出调整。

技术领域

本发明属于服务机器人技术领域，尤其涉及一种多模态连续情感识别方法、服务推理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着服务机器人在家庭情景中担任重要的角色，自然的人机交互成为影响用户满意度和人机共存舒适度的关键因素之一。家庭服务机器人的目标就是对用户情感具有认知能力，并根据用户情感状态提供高质量的服务。

据发明人了解，目前针对人类情感的识别主要为离散情感模型，但由于人类情感的表达是一个复杂连续的过程，离散情感模型难以充分表达用户的情感状态，因此实现用户连续情感状态识别十分比必要，同时因为连续情感状态标定复杂导致数据集稀少，且单模态的连续情感识别存在识别精度低、鲁棒性差的缺点，所以为了进一步降低数据集稀少带来的影响、提升情感识别的准确性、增强识别系统的鲁棒性，需要探索各模态之间的互补性，实现多模态融合的情感识别，从而提升最终的情感识别质量。

家庭服务机器人的服务目标是人，目前服务机器人所提供的服务很少考虑到用户当前的情感状态，且推理规则为硬推理，没有考虑到家庭环境是动态变化的，充斥着各种不确定性因素，所推理的服务结果不能很好的服务于用户，不能体现服务机器人的智能化。

发明内容

为克服上述现有技术的不足，本发明提供了一种多模态连续情感识别方法、服务推理方法及系统。采用表情和语音多模态情感识别结果相融合的方式，克服了单模态在连续情感识别存在的缺点，提升了情感识别精度，在此基础上基于多实体贝叶斯网络模型进行服务推理，使得服务机器人能够针对用户情绪对服务动态的做出调整。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于表情和语音的多模态连续情感识别方法，包括以下步骤：

获取包含用户面部表情和语音的视频数据；

对于视频图像序列，提取人脸图像，对人脸图像进行特征提取，得到表情情感特征；

根据表情情感特征，基于预训练的深度学习模型进行连续情感识别；

对于语音数据，利用梅尔频率倒谱系数获取语音情感特征；

根据语音情感特征，基于预训练的迁移学习网络进行连续情感识别；

将表情情感识别结果和语音情感识别结果相融合，得到最终识别结果。

进一步地，采用Gabor小波变换对人脸图像进行特征提取，得到表情情感特征。

进一步地，提取人脸图像包括：

采用预训练的神经网络模型对视频图像序列进行人脸识别，同时识别异常视频帧，将异常帧丢弃；其中，所述神经网络模型级联三个不同深度的卷积神经网络。

进一步地，对于语音数据还进行预处理：

利用一阶非递归型的高通滤波器对语音数据进行处理；

对语音数据进行分帧处理，并通过添加汉明窗实现相邻两帧之间的平滑过渡。