[发明专利]一种基于深度典型相关性分析的多模态情感识别方法

权利要求书

1.一种基于深度典型相关性分析的多模态情感识别方法，其特征在于，包括以下步骤：

步骤1：构建基于循环神经网络的算法模型并对该模型进行训练，包括以下子步骤：

步骤1.1：建立循环神经网络的算法模型，且该模型的输入信息为：

M＝[V,T,A]

M为当前待识别信息，V为图像信息，T为文字信息，A为语音信息。

步骤1.2：对模型进行训练：

H_VT＝F_VT(V,T,W_VT)

H_AT＝F_AT(A,T,W_AT)

Classification＝F(V,T,A,W_VTA)

其中F为依照图1构建基于循环神经网络的强化学习算法模型，W_VT,W_AT和W_VTA分别为模型中涉及到的参数变量，H_VT为图像与文字双模态融合信息经过全连接层线性变换后的二维综合变量，H_AT为语音与文字双模态融合信息经过全连接层线性变换后的二维综合变量，Classification为模型的输出结果；

步骤1.3：计算损失函数：

loss＝loss_CCA+loss_class

通过反向传播损失函数loss，完成对模型的训练

步骤2：采用数据集中未被训练过的数据作为测试实例，使用基于循环神经网络和相关典型性分析的多模态情感识别模型进行识别，得到最后的分类结果，包括以下子步骤：

步骤2.1：通过基于循环神经网络和相关典型性分析的多模态情感识别模型进行输出结果计算；

步骤2.2：计算输出结果与六种基本情感类型各自的聚类中心的欧氏距离大小，距离最近的聚类中心所代表的情感类型作为最终的识别结果。

2.如权利要求1所述的一种基于深度典型相关性分析的多模态情感识别方法，其特征在于，所述步骤1.1中，循环神经网络的算法模型共12层，其中，1层输出层，1层输入层，10层为隐含层，包括2层循环神经网络层，1层归一化层，1层激活层，1层注意力层和5层全连接层。

3.如权利要求2所述的一种基于深度典型相关性分析的多模态情感识别方法，其特征在于，所述循环神经网络的算法模型输入为当前对话采样段内的图像、文字和语音三模态信息，首先分别进行单模态的特征处理。图像特征处理层、文字特征处理层和语音特征处理层均各自包含一层归一化层和一层循环神经网络层，之后文字与语音，文字与图像分别通过一层注意力层进行双模态信息的融合。两组双模态信息分别通过相互独立的三层全连接层进行线性变换，输出维度均为2，之后再分别通过两层全连接层重构两组融合的双模态信息，输出维度与第一层注意力层相同。两组信息通过一层循环神经网络层和一层激活层进行特征融合，最后经过一层全连阶层输出。输出结果采用K聚类方法进行分类，以数据的真实标签数据作为K聚类的聚类中心点，计算输出值与聚类中心点的欧氏距离，以距离最小的聚类中心点作为分类识别结果。

4.如权利要求1所述的一种基于深度典型相关性分析的多模态情感识别方法，其特征在于，所述步骤1.3中，损失函数包含两个部分：

一部分为对综合变量H_VT和H_AT进行典型相关性分析，

corr＝argmaxCCA(H_VT,H_AT)

loss_CCA＝-corr

其中，corr为计算出的相关性大小，CCA为典型相关性分析计算过程，为了通过反向传播使得corr最大化，跨模态特征损失函数loss_CCA取corr负值；

另一部分损失函数loss_class为模型输出结果Classification与正确标签所代表的聚类中心Label的欧式距离：

loss_class＝Eu(Classification,Label)

其中，Eu为欧氏距离计算。

因此，损失函数loss为：

loss＝loss_CCA+loss_class。