[发明专利]基于通道扩展与融合的循环胶囊网络多模态情感识别方法

权利要求书

1.基于通道扩展与融合的循环胶囊网络多模态情感识别方法，其特征在于，具体为：提取多个视频样本，并从每个视频样本中分别提取音频模态特征序列、视觉模态特征序列和文本模态特征序列；将上述模态特征序列逐一输入时域卷积网络中，分别得到包含上下文信息的模态特征序列、视觉模态特征序列和文本模态特征序列；利用多通道可变形卷积网络从上述模态特征序列中逐一学习，分别得到包含高层语义信息的音频模态特征序列、视觉模态特征序列和文本模态特征序列，利用构建的多模态语义胶囊融合网络获取全局信息胶囊，并输入到双向长短期记忆网络中进行压缩，最后，送入密集层中进行多模态情感分类。

2.根据权利要求1所述的基于通道扩展与融合的循环胶囊网络多模态情感识别方法，其特征在于，具体按照以下步骤实施：

步骤1、从多模态情感视频数据库中提取多个视频样本，从每个视频样本中分别提取音频模态特征序列视觉模态特征序列和文本模态特征序列

T为各模态特征序列的序列长度，d_a、d_l和d_v分别为音频模态、文本模态和视觉模态的特征向量维度；

步骤2、分别建立三个时域卷积网络，将每个视频样本的音频模态特征序列Z^a、视觉模态特征序列Z^v和文本模态特征序列Z^l分别送入对应时域卷积网络中，学习各模态特征序列的时域关系，各模态特征序列的特征向量维度被统一为d，最后，得到包含上下文信息的音频模态特征序列X^a、视觉模态特征序列X^v和文本模态特征序列X^l；

步骤3、构建L个多通道可变形卷积网络并按顺序堆叠在一起，每个多通道可变形卷积网络由三个“通道扩展”模块和一个“通道融合”模块组成；然后，将包含上下文信息的音频模态特征序列X^a、视觉模态特征序列X^v和文本模态特征序列X^l同时输入到堆叠的多通道可变形卷积网络中进行处理，得到包含高层语义信息的音频模态特征序列视觉模态特征序列和文本模态特征序列

步骤4、构建多模态语义胶囊融合网络，获得全局信息胶囊V；

步骤5、将全局语义胶囊V输入到双向长短期记忆网络中进行压缩，得到压缩的多模态融合

步骤6、将压缩的多模态融合送入密集层中进行多模态情感分类。