[发明专利]一种多任务学习及对比学习改进的多模态情感分析方法

权利要求书

1.一种多任务学习及对比学习改进的多模态情感分析方法，其特征在于，该方法具体包括以下步骤：

步骤1：准备MOSI数据集，对数据集中的多模态数据进行处理，获取初始单模态表征；

步骤2：将单模态表征输入第一个子任务模块，即单模态表征预测模块，进行单模态情感极性预测子任务，得到单模态情感极性预测结果；

步骤3：将单模态表征输入双模态门控模块，生成双模态表征，并将双模态表征输入第二个子任务模块，即双模态表征预测模块，进行双模态情感极性预测子任务，得到双模态情感极性预测结果；

步骤4：将单模态及双模态表征拼接，进行情感极性预测主任务，并通过对比学习，将任意两次输出的均方误差作为对比学习损失；

步骤5：将主任务与两组子任务的损失作为多任务学习损失，多任务学习损失中不同任务的损失权重系数通过同方差不确定性实现自适应调整，将多任务学习损失与对比学习损失的加权和作为模型最终的损失函数。

2.根据权利要求1所述的一种多任务学习及对比学习改进的多模态情感分析方法，其特征在于：所述的对数据集中的多模态数据进行处理，获取初始单模态表征，具体为：步骤1-1：将多模态数据中的文本向量f_t通过BERT预训练模型进行初始处理，获取文本表征F_t，文本模态特征表示如下：

F_t＝BERT(f_t；θ_t)

其中θ_t表示可学习的参数，下同；

步骤1-2：将多模态数据中的音频向量f_a通过双向LSTM进行初始处理，获取音频表征F_a，音频模态特征表示如下：

F_a＝LSTM(f_a；θ_a)

步骤1-3：将多模态数据中的视频向量f_v通过双向LSTM进行初始处理，获取视频表征F_v，视频模态特征表示如下：

F_v＝LSTM(f_v；θ_v)。

3.根据权利要求1所述的一种多任务学习及对比学习改进的多模态情感分析方法，其特征在于：所述将单模态表征输入第一个子任务模块，进行单模态情感极性预测子任务

步骤2-1：将步骤1获得的单模态表征F_s，s∈{t，a，v}分别输入三个独立的单模态预测模块中，首先将它们映射到低维空间中，过程表示如下：

其中，ReLU为激活函数，ds表示特征的维度，/表示偏置；

步骤2-2：将F′_s送入线性层，得到预测结果，过程表示如下：

其中，y_s为单模态情感极性预测结果，/表示偏置。