[发明专利]一种基于多源信息融合的情感识别方法和人机交互系统

说明书

本发明公开了一种基于多源信息融合的情感识别和人机交互系统，包括信息采集模块、信号预处理模块、信号分析模块、特征融合模块、情感识别模块、反馈模块、情感陪护模块和人机交互模块，其中：信息采集模块，用于采集用户的面部图像信息、语音信息以及语义信息；信号预处理模块，用于对信息采集模块采集到的信号预处理；信号分析模块，用于对信号预处理模块得到的信号进行分析处理；特征融合模块，用于对信号处理模块得到情感特征进行特征融合；情感识别模块，用于根据特征融合模块得到的融合的情感特征进行情感识别；情感反馈模块，用于将情感识别模块识别到的用户情感状态反馈到情感陪护模块；情感陪护模块，用于根据情感反馈模块反馈的情感状态生成情感陪护模式；人机交互模块，用于根据情感陪护模块生成的情感陪护方案进行人机交互。

技术领域

本发明涉及服务机器人领域，尤其涉及一种基于多源信息融合的情感识别方法和人机交互系统。

背景技术

我国已成为世界上老年人口最多的国家，人口老龄化问题形势十分严峻。据统计，空巢和独居老人存在心理问题的比例达到60％。因此采取何种手段对其进行情感识别进而进行干预，以减少其孤独感及其他心理疾病的发生，已经成为全社会比较关注和迫切需要解决的问题。若要真正达到对老年人进行情感陪护的功能要求，更好的融入老年人生活，首先要充分理解和辨别老年人的情感变化，根据老年人不同的情感需求进行方式多样的人机交互，从而缓解老年人的孤独感。目前尚无有效识别情感的技术。

为此，本发明提供了一种基于多源信息融合的情感识别方法和人机交互系统。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种基于多源信息融合的情感识别和人机交互系统，包括信息采集模块、信号预处理模块、信号分析模块、特征融合模块、情感识别模块、反馈模块、情感陪护模块和人机交互模块，其中：

信息采集模块，用于采集用户的面部图像信息、语音信息以及语义信息；

信号预处理模块，用于对信息采集模块采集到的信号预处理；

信号分析模块，用于对信号预处理模块得到的信号进行分析处理；

特征融合模块，用于对信号处理模块得到情感特征进行特征融合；

情感识别模块，用于根据特征融合模块得到的融合的情感特征进行情感识别；

情感反馈模块，用于将情感识别模块识别到的用户情感状态反馈到情感陪护模块；

情感陪护模块，用于根据情感反馈模块反馈的情感状态推荐情感陪护模式；

人机交互模块，用于根据情感陪护模块生成的情感陪护模式进行人机交互。

所述人机交互系统，其中信号预处理模块进行的信号预处理包括面部图像信号、语音信号和语义信号的预处理，其中，

面部图像信号预处理包括：利用滑动平均窗口的中值滤波器去除面部孤点噪声，保持图像的边缘特性，利用灰度变换进行图像归一化处理，将采集到的面部图像的灰度分布参数统一调整到预定的数值，调整图像灰度分布的均值和均方差分别为0和1；

语音信号预处理包括：利用巴特沃斯带阻滤波器去除语音信号的50HZ工频干扰，基于样条插值和标准差的方法去除伪迹；

语义信号预处理包括：对语义的数据长度进行归一化预处理，设置每个语义信号的序列固定长度为N，对于大于长度N的信号进行剪裁，对于小于长度N的信号进行补零填充。

所述人机交互系统，其中信号分析模块对信号预处理模块得到的信号进行分析处理包括：将预处理后的面部图像信息通过卷积神经网络模型进行特征提取，该神经网络模型包含两个卷积层、两个最大池化层和一个全连接层，全连接层输出为提取的图像情感特征向量X_CNN，