[发明专利]基于通道扩展与融合的循环胶囊网络多模态情感识别方法

说明书

本发明公开了基于通道扩展与融合的循环胶囊网络多模态情感识别方法，具体为：从每个视频样本中分别提取音频模态特征序列、视觉模态特征序列和文本模态特征序列；将特征序列逐一输入时域卷积网络中，得到包含上下文信息的模态特征序列、视觉模态特征序列和文本模态特征序列；利用多通道可变形卷积网络从上述模态特征序列中逐一学习，得到包含高层语义信息的音频模态特征序列、视觉模态特征序列和文本模态特征序列，利用构建的多模态语义胶囊融合网络获取全局信息胶囊，并输入到双向长短期记忆网络中进行压缩，最后，送入密集层中进行多模态情感分类。本发明的基于通道扩展与融合的循环胶囊网络合理有效，能够达大大提高多模态情感识别的准确率。

技术领域

本发明属于情感识别技术领域，具体涉及基于通道扩展与融合的循环胶囊网络多模态情感识别方法。

背景技术

近些年伴随计算机硬件资源的提升，人工智能领域得到了飞速的发展。时至今日，人工智能已经融入到了生活的方方面面。例如人工智能中的多模态情感识别，通过结合多种模态信息可以有效识别被采集者的情感状态，在医疗诊断、智能驾驶、人机交互以及舆论监督等场景均发挥了重要的作用。然而，多模态情感识别虽然在各种工业应用中表现出色，但目前仍然有两个难点待解决。首先是如何有效提取各模态特征序列的高层语义信息，为后续的融合阶段提供更加强大、包含更多深层次语义信息的高级表示。其次是如何学习不同模态特征序列之间的潜在关系，有效地融合不同模态特征序列，得到一个更具代表性的多模态融合表示。

发明内容

本发明的目的是提供基于通道扩展与融合的循环胶囊网络多模态情感识别方法，通过通道扩展和融合的方式对各模态特征序列进行处理，以有效提取各模态特征序列的高层语义信息。

本发明所采用的技术方案是，基于通道扩展与融合的循环胶囊网络多模态情感识别方法，具体按照以下步骤实施：

步骤1、从多模态情感视频数据库中提取多个视频样本，从每个视频样本中分别提取音频模态特征序列视觉模态特征序列和文本模态特征序列

T为各模态特征序列的序列长度，d_a、d_l和d_v分别为音频模态、文本模态和视觉模态的特征向量维度；

步骤2、分别建立三个时域卷积网络，将每个视频样本的音频模态特征序列Z^a、视觉模态特征序列Z^v和文本模态特征序列Z^l分别送入对应时域卷积网络中，学习各模态特征序列的时域关系，各模态特征序列的特征向量维度被统一为d，最后，得到包含上下文信息的音频模态特征序列X^a、视觉模态特征序列X^v和文本模态特征序列X^l；

步骤3、构建L个多通道可变形卷积网络并按顺序堆叠在一起，每个多通道可变形卷积网络由三个“通道扩展”模块和一个“通道融合”模块组成；然后，将包含上下文信息的音频模态特征序列X^a、视觉模态特征序列X^v和文本模态特征序列X^l同时输入到堆叠的多通道可变形卷积网络中进行处理，得到包含高层语义信息的音频模态特征序列视觉模态特征序列和文本模态特征序列

步骤4、构建多模态语义胶囊融合网络，获得全局信息胶囊V；

步骤5、将全局语义胶囊V输入到双向长短期记忆网络中进行压缩，得到压缩的多模态融合

步骤6、将压缩的多模态融合送入密集层中进行多模态情感分类。

本发明的特点还在于，

步骤3中，每个“通道扩展”模块是由卷积核大小为3×3和5×5的卷积神经网络以及池化大小为3×3的最大池化层组成；“通道融合”模块是由五个卷积核大小为3×3的可变形卷积网络组成；

每个多通道可变形卷积网络的具体处理过程为：