[发明专利]基于图模型表示学习的消息回复关系判断系统

权利要求书

1.基于图模型表示学习的消息回复关系判断系统，其特征是：该系统包括图的构建和生成模块、局部图获取和合并模块、异质图注意力网络模块以及孪生网络模块；

所述图的构建和生成模块包括全局群组图构建子模块和自适应消息图生成子模块；

所述全局群组图构建子模块用于对群组内容的全局信息进行统计处理得到全局群组图；具体过程为：

首先，定义节点和边；分别设定用户节点、消息节点和单词节点；设定用户节点和用户节点之间的边，用户节点和消息节点之间的边，消息节点和单词节点之间的边，单词节点和单词之间节点的边；

通过计算节点和节点之间的权重，获得图模型G的邻接矩阵A，所述邻接矩阵A中的元素A_ij计算公式为：

式中，PMI(e,e′)为成对单词节点间的权重，TF-IDF(e,f)为消息节点和单词节点之间的单词节点的重要性权重，PMI_{time_window}(g,g′)为成对用户节点间的共现权重；

所述自适应消息图生成子模块采用任务相关自适应的图学习方法，基于目标任务通过处理输入的消息序列自适应地生成包含消息间关系的消息图；

所述自适应消息图生成子模块的输入为群组中的一个消息序列，消息序列为S₁,S₂,...,S_z,...,S_N,S_N+1，序列长度为N+1，s_z表示序列中的第z条消息，采用Bi-LSTM网络从正序和反序两个方向学习得到序列中每个位置的隐藏表示和最后的输出，通过一个全连接层将Bi-LSTM网络的全部输出进行矩阵运算得到(N+1)²维度的输出矩阵，该矩阵作为消息序列的自适应消息图对应的邻接矩阵A_ada；

所述局部图获取和合并模块包括局部图获取子模块以及局部图和自适应消息图合并子模块；

所述局部图获取子模块用于从全局群组图中抽取相关单词节点、相关消息节点、相关用户点组成的节点和节点间的边构成局部图，局部图的节点集由相关单词节点、相关消息节点、相关用户节点组成，局部图的边集由节点集中节点间存在的边组成；

所述相关消息节点指：当前消息和当前消息前N条连续的历史消息组成N+1条消息作为当前消息节点的相关消息节点；

所述相关用户节点指：发送相关消息节点的用户节点组成的用户集；

所述相关单词节点指：相关消息节点中出现的单词节点组成的单词集；

所述局部图和自适应消息图合并子模块用于将局部局和自适应消息图进行合并，获得最终的合并子图，该合并子图作为所述异质图注意力网络模块的输入；

所述异质图注意力网络模块用于在输入的合并子图上进行表示学习，利用节点层和类型层组成的双层注意力机制学习合并子图中的信息并输出更新后的节点向量表示；

所述孪生网络模块采用网络参数共享权值方式，从前N条连续的历史消息中抽取当前消息的回复消息或未回复消息，与当前消息组成消息对作为输入，所述消息对的向量表示从异质图注意力网络模块输出的节点向量表示中抽取得到；

所述孪生网络模块将从异质注意力网络模块输出中抽取的需要判断消息对的两条消息向量表示映射到相同的向量空间，预测消息对的回复关系，最终将孪生网络模块的输出合并输入到全连接层中，经过softmax分类器进行处理，获得消息对的预测结果。