[发明专利]一种基于强化学习框架的多模态检测对话情感信息的方法

说明书

本发明公开了一种基于强化学习框架的多模态检测对话情感信息的方法，包括：将话语特征描述符输入到所建立的智能体中得到当前话语情感信息；对话语情感信息采取滑窗和最大池化操作融合滑窗窗口内的话语情感信息，并与当前话语的特征描述符拼接作为当前输入智能体的状态；智能体识别当前话语的情感并进行分类，获取分类标签；根据分类标签通过最大化智能体所得的回报来优化策略，优化后的策略指导智能体在后续过程根据状态采取优化的动作，输出分类结果。本发明捕捉了情绪状态和累积的情绪变化的影响，以提升多模态场景下对话中的情感检测的精度。

技术领域

本发明涉及对话情感检测领域，尤其涉及一种基于强化学习框架的多模态检测对话情感信息的方法。

背景技术

作为人类交流的基本方面，情感在我们的日常生活中起着重要的作用，对于更自然的人机交互至关重要，使文本中的情感检测成为自然语言处理(NLP)的长期目标。在文献中，大多数作品集中于非对话文本，包括短文本级别^[1]，句子级别文本^[2]和文档级别文本^[3]。但是，近年来，由于许多新兴任务，例如：基于聊天记录的舆论挖掘^[4]，Facebook，YouTube，Twitter等中的社交媒体分析^[5]，对话中的情感检测在更多的应用场景中得到了应用，以及智能系统(如智能家居和聊天机器人)^[6]。因此，对话中的情感检测已引起研究界的越来越多的关注。

与非会话案例相比，会话案例的最大区别在于会话中的邻近话语与语义密切相关，因此邻近话语的情感类别也具有密切相关性。此外，上下文信息是会话情感检测和单句情感检测任务之间的另一个主要区别。有时，可以基于对话的上下文信息来增强，减弱或反转话语的原始情感。Li等^[7]提出了BiERU，它可以解决在建模用于对话情感检测的上下文信息时的计算效率问题。BiERU引入了广义神经张量块，然后是两通道分类器，分别执行上下文组合和情感分类。为了解决当前基于RNN(循环递归神经网络)的方法中存在的上下文传播问题，Ghosal等人^[8]提出了DialogueGCN(对话图卷积网络)。DialogueGCN基于图神经网络，通过利用对话者的自身和说话者之间的依存关系来建模用于情感检测的对话上下文。

但是，就像人类在谈话过程中感知情感的过程一样，当前话语的情感状态受先前话语的内容和情感状态影响和决定。有效地在整个对话中对这些累积的情感信息进行建模既重要又充满挑战。例如，如图1所示，第三话语的情感(由说话者2说)令人惊讶。在第四次讲话(由发言者1说)因在观看史诗期间对讲话者2入睡而生气之后，第四次讲话(由发言者2说)变得悲伤。这种情绪上的变化不仅是因为说话人2无法掩盖自己入睡的真相，而且还受到说话人1所表达的愤怒情绪的影响。从这个例子中，可以看到当前的情绪状态可以在两个方面基于对话而改变，一个方面是前面话语给出的上下文，另一个是前面话语背后的情感。最近的研究主要集中于利用上下文和说话者信息来促进对话中的情感检测，并且通常利用递归神经网络(RNN)或图神经网络对该信息进行建模，例如参考文献[8]和[5]，在上述基于RNN的方法中，忽略了先前的情绪状态和累积的情绪变化的影响。

参考文献

[1]Felbo,Bjarke,Alan Mislove,Anders Iyad Rahwan,and SuneLehmann.Using millions of emoji occurrences to learn any-domainrepresentations for detecting sentiment,emotion and sarcasm.arXiv preprintarXiv:1708.00524(2017).