[发明专利]一种基于多模态识别的自学习情感交互方法

说明书

本发明公开了一种基于多模态识别的自学习情感交互方法，步骤如下：非接触式通道分别采集语音、人脸和手势信号；对信号进行特征提取，得到信号初步特征；特征输入到双向LSTM层，得到单模态私有信息和多模态交互信息，根据这些信息得到融合特征；基于分类学习算法，结合多模态融合特征和历史情绪状态曲线预测用户情绪，选择交互模式；在交互模式下，根据对话记忆网络给出交互应答；最后，根据交互效果对情绪状态曲线和对话记忆网络进行反馈和优化。本发明允许操作者通过非接触式人机交互接口多通道输入信息，对多模态的融合特征综合考虑，结合情绪历史状态和对话记忆网络，完成交互任务。

技术领域

本发明涉及人机交互技术领域，具体涉及一种基于多模态识别的自学习情感交互方法。

背景技术

智能人机交互是人工智能发展的一个重要方向，随着移动互联网的发展，对人机交互的类人化和自然性提出了更高的要求。

目前的交互技术较为单一，多为单纯的文字或语音交互，一些所谓的多模态交互方式只是对多模态特征进行简单的加法操作，是对多个单模态信息的单独处理，没有考虑多模态信息之间的交互作用信息，使得多个模态之间存在歧义，不能实现完整的、无歧义的交互任务。同时，大多数的交互方式没有考虑用户的情绪和心理的连续性和时间累积效应，也没有考虑对话的上下文及语义的连贯性，无自适应和自学习的能力，只能对特定的场景和意图进行交互，无法满足日益增长的交互需求。人的自然交互是离不开情绪变化的，情绪的表达通常是通过语言、视觉和行为动作之间的相互作用共同完成的，同时人的情感具有时变性，对话具有连续性。目前亟待提出一种能够综合考虑多模态之间的交互作用关系，并能适应复杂多变的场景，具有自学习和自适应能力的交互新方法。

发明内容

本发明的目的在于解决交互能力不足的缺陷，提供一种基于多模态识别的自学习情感交互方法，该方法允许操作者通过非接触式人机交互接口多通道输入信息，对多模态的融合特征综合考虑，结合情绪历史状态和对话记忆网络，完成交互任务。

本发明的目的可以通过采取如下技术方案达到：

一种基于多模态识别的自学习情感交互方法，所述的自学习情感交互方法包括以下步骤：

S1、利用麦克风阵列和摄像头非接触式通道分别采集语音、人脸和手势信息；

S2、提取语音、人脸和手势信号特征，初步得到语音情感特征l、人脸特征f、手势特征h，记N＝{l，f，h}，其中，N是语言情感特征l、人脸特征f、手势特征h信息的集合；

S3、将语音情感特征l、人脸特征f、手势特征h输入到不同的双向LSTM网络层，得到单模态信息和多模态交互信息，根据单模态信息和多模态交互信息得到语音情感模态、人脸模态以及手势模态的三模态融合特征；

S4、基于XGBOOST学习算法，结合多模态融合特征和情绪历史状态曲线预测用户情绪，选择交互模式；

S5、利用麦克风阵列和摄像头非接触式通道多次分别采集语音、人脸和手势信号，并分别提取语音情感特征l、人脸特征f、手势特征h，得到情绪状态曲线反馈，并以此进行对话记忆网络优化；

S6、在相应交互模式下，通过优化后的对话记忆网络给出交互应答。

进一步地，所述的步骤S2过程如下：

S21、对采集的语音信息，基于隐马尔可夫模型，提取语音Mel滤波器组倒谱特征，包括短时能量、共振峰、子带能量的短时特征，得到语言情感特征l；

S22、对采集的人脸信息，输入到多层卷积神经网络，用6个5x5的卷积核过滤器进行卷积，得到人脸特征f；

S23、对采集的手势信息，基于手势的Hu矩以及指尖数，输入到BP神经网络，得到手势特征h。

进一步地，所述的步骤S3过程如下：