[发明专利]基于Transformer编码器和多头多模态注意力的连续维度情感识别方法

摘要

本发明采用时序深度卷积神经网络(TCN)、自注意力Transformer编码器(Transformer Encoder)以及多模态多头注意力机制(Multi‑modal Multi‑head Attention)，涉及一种从多模态(听觉、视觉)时序信息中对连续维度情感进行估计的模型和识别方法。该方法对不同模态输入的特征，得到不同模态的嵌入特征表达；而后将不同模态的嵌入特征表达作为输入，利用多模态Transformer编码器得到不同模态的高级表征；最后将不同模态的高级特征表达作为输入，计算出每一时刻的情感状态值。本发明更加关注时序上过去某些关键时刻对当前情绪状态的影响，排除长远情感信息带来的干扰，使得模型鲁棒性提高。同时，该发明通过在模型中同时修正时序上下文依赖关系和多模态交互融合关系的方法，明显的提高了连续维度情感估计的准确度。