[发明专利]一种面向对话情感识别的对比式上下文理解增强方法

权利要求书

1.一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，包括以下步骤：

步骤1：基于已有的对话情感分析框架，提取出其中用于情感分类的隐藏状态序列；

步骤2：基于提取的序列表示，构建包含上下文语义感知模式的对比样本对；

步骤3：构建对比学习损失函数，让模型从样本中学习到其包含的模式；将对比损失和情感分类损失函数相加并进行多任务学习，完成网络模型训练；

利用对话情感分类模型，对目标对话中的情感进行判别，实现对话情感的分类。

2.如权利要求1所述的一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，步骤1提取序列的方法如下：

步骤1.1：将对话的会话文本进行向量化，得到其相应的分布式文本表示；

步骤1.2：将文本表示送入已有的对话情感分类模型，得到模型全连接分类层之前的情感表示序列。

3.如权利要求2所述的一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，将对话的文本序列内容表示为向量形式的文本序列：其中，u表示会话文本，T_l表示训练数据中第l段对话中对话轮次的数量，为文本信息；

设已有一个对话情感分类模型CER，将得到向量式文本序列表示为喂入情感分类模型，并得到模型最后用于情感分类的全连接层之前的情感序列表示如下：

其中，H为情感序列表示，h表示不同时刻会话的情感向量表示，CER为已有的对话情感分类模型，为情感向量表示。

4.如权利要求1所述的一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，步骤2构建对比样本对的方法如下：

步骤2.1：将每一个待分类的目标会话情感表示的历史信息进行编码，得到其上下文的抽象表示；

步骤2.2：将目标会话自身和同方向相邻会话表示作为目标会话上下文表示的正例，将从其它不相关对话采样而来的会话情感表示作为负例，进而完成对比样本对的构建；

步骤2.3：重复步骤2.1到步骤2.2，在对话流的相反方向，为每一个目标会话构造相应的对比样本对。

5.如权利要求4所述的一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，步骤2中，利用一个序列模型针对每一个待分类的目标会话情感表示h_k，对其历史会话信息进行编码，得到其上下文的抽象表示

其中，h_k-1为k-1时刻会话的情感向量；

将与目标会话同方向上相邻的w个会话的表示作为目标会话上下文表示的正例，并构成一个正例对集合：

其中，表示正向样本对的集合，p_k表示单个正向样本对，h_k+w为k+w时刻会话的情感向量，其中k+wT_l，k表示目标会话在对话中的位置；

利用一个反方向的序列模型将目标会话的情感表示的未来序列信息进行编码，得到反方向的抽象上下文表示然后构造其反方向的正例对：

其中，表示反向样本对的集合，h_k-w为k-w时刻会话的情感表示向量；

综上，得到目标会话所有的正样本对的集合P_k：

结合正反两个方向上下文表示和将从其它不相关对话数据中采样得来的会话情感表示作为负例，构建负样本对：

其中，和表示随机从其他对话中采样得到的会话情感表示；分别表示正反两个方向的负样本对集合,n_k为其中的单个对比样本对；

对于目标会话h_k的负样本对集合N_k表示为：

P_k和N_k包含能够让模型感知对话上下文的模式；对于每个话语的情感表征，其对应的对比样本对均通过上述相同的过程得到；将它们与对比损失相结合，使模型学习这些对比样本中所包含的特征。

6.如权利要求1所述的一种面向对话情感识别的对比式上下文理解增强方法，其特征在于，步骤3的实现方法如下：

步骤3.1：构建对比损失函数，让对比样本中负例样本之间的距离变远，正例样本之间的距离变近；

对于一个目标话语h_k，其相应的对比样本对为D_k＝{P_k,N_k}，设有其中任意一个样本对首先将其拼接，然后通过一个全连接的感知机MLP计算样本之间的匹配分数o_：：

其中，和分别代表任意一个对比样本中的上下文和会话向量表示；mlp为全连接感知机网络；

之后，通过sigmoid函数将匹配分数o_j规范至[-1,+1]之间：

s_j＝sigmoid(o_j) (9)

基于上述为每一个样本对构造的匹配网络，构造对比损失，让正样本对之间的匹配分数拉大，让负样本对之间的匹配分数变小：

其中，和分别表示相应的正负样本对之间的匹配分数值，|P_k|表示正样本的数量，而|N_k|则表示相应的负样本对的数量；L_c表示每一个目标会话的对比损失；D_k为对比样本对；

步骤3.2：整个网络的损失函数L(θ)由原来情感分类损失函数和对比损失函数加和得到，其具体形式如下：

其中，θ为整个网络的所有参数；T_l表示训练数据库中第l段对话里包含的对话轮次的数量；L_e(u_t)表示对目标会话u_t进行情感分类的损失函数；L_c(D_t)为对比损失函数；λ表示对比损失的强度参数，用来控制上下文增强任务的强度；L(θ)表示整个网络的损失函数；

整个网络通过将两个任务进行联合训练，实现对已有对话情感分类模型的上下文增强的效果。