[发明专利]基于图模型表示学习的消息回复关系判断系统

说明书

基于图模型表示学习的消息回复关系判断系统，涉及信息通讯技术领域，解决现有技术只采用两条消息的文本信息和消息间的交叉后的关系信息，没有包含群组用户信息；没有使用当前消息聊天场景的上下文信息等问题，包括图的构建和生成模块、局部图获取和合并模块、异质图注意力网络模块以及孪生网络模块；本发明基于群组内容构建群组图和生成自适应消息图，综合学习群组消息的文本信息、发送消息的群组用户信息和上下文群组消息信息，利用图模型在图结构上进行群组消息的表示学习，拼接消息对的表示向量并进一步预测群组消息间的回复关系。本发明处理不同的输入消息序列生成任务相关的局部消息图，用于捕捉消息之间的隐式关联，弥补人工构图的不足。

技术领域

本发明涉及信息通讯技术领域，具体涉及一种基于图模型表示学习的消息回复关系判断系统。

背景技术

目前，微信、QQ、钉钉等社交媒体已经成为人们交流的主要渠道，在这些媒体的聊天群组中，群组用户频繁地发送消息互相回复进行交流。群组聊天是一个多方多轮的对话场景，群组用户作为对话的参与者，群组消息作为对话元素，一段时间内发送的群组消息构成一个完整会话。群组成员通过群组消息进行交流，群组消息基于消息间回复关系组成完整的聊天内容。群组消息间回复关系是多种多样，消息回复不一定是连续的，即当前消息不一定是上一条消息的回复，回复关系要根据具体的聊天场景确定。在微博、Twitter、Facebook等平台博文的评论区中明确定义了评论间的回复关系，群组对话中消息间没有明确的回复关系，识别群组消息间的回复关系通常需要大量的人工进行标注。群组消息间没有明确的回复关系，单条消息很难表达完整语义，阻碍对群组内容的整体理解，学习消息间的回复关系成为理解群组内容需要解决的难题。

群组消息间的回复关系识别，不同于现有的文本匹配任务，比如自然语言推理(Natural Language Inference,NLI)、问答任务(Question Answering,QA)。在现有的文本匹配任务中，自然语言推理的前提和问答任务的问题通常作为句子A，自然语言推理的假设和问答任务的答案作为句子B，将句子A和B合并组成长序列，输入到模型中进行分类，NLI、QA只考虑句子A和句子B中的信息来判断句子对间的关系。群组消息间关系判断不仅需要考虑当前消息的文本信息，并且需要考虑发送消息的用户信息和当前消息的丰富上下文消息信息，如何综合学习消息的文本信息、发送消息的用户信息和上下文消息信息判断群组消息间的回复关系成为亟待解决的问题。

现有技术中，基于短文本对话学习任务，其中常见的是将消息的回复关系转换为自然语言推理的技术。

短文本对话是给定一条输入消息，预测合适的消息作为回复消息，是单轮两方对话的形式，预测的过程中只单纯考虑文本语义，没有给定和考虑对话两方用户信息和历史会话信息。其中自然语言推理推理模型(Enhanced LSTM for Natural LanguageInference，ESIM)通过消息对匹配方法将对话转换为自然语言推理问题进行消息预测，解决短文本消息对话关系预测问题。

ESIM的具体流程是针对群组中的当前消息，从上下文中提取消息与当前消息组成消息对，根据回复关系的真实标签作为消息对的真实样本，然后使用消息对的注意力机制(intra-sentence attention)，来实现局部的推断，进一步实现全局的推断。接下来具体局部推断和全局推断进行详细介绍。首先，对消息对进行向量化处理，并输入双向长短期记忆网络(Bi-directional Long-Short Term Memory,Bi-LSTM)中，学习如何表示消息中的单词和它上下文中其他单词的关系对消息进行重新编码，得到新的向量表示。其次，对得到的消息对的向量表示进行软匹配，软匹配是先计算两个句子包含的单词之间相似度，得到二维的相似度矩阵。然后进行消息对中两条消息的局部推理，使用之前得到的相似度矩阵，互相生成彼此相似性加权后的表示，并维度保持不变。

在局部推理之后，进行信息增强操作，即单条消息的初始的向量表示和处理后的向量表示，进行点积和做差操作并拼接作为最后消息向量表示。最后，使用BiLSTM学习两条消息间的信息，进行池化处理后接一个全连接层，输出消息对的预测结果。