[发明专利]基于TransS驱动的互激励神经网络的隐式篇章关系识别方法

说明书

本发明公开一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，包括如下步骤：(1)构建论元和篇章关系的嵌入层；(2)篇章论元的表示学习；(3)构建注意力机制增强的表示学习；(4)构建句子翻译嵌入模块(Translating Sentence Embedding，TransS)；(5)构建篇章关系识别模块；(6)构建互激励机制；该方法首先利用论元对‑关系嵌入层得到论元对和关系的嵌入向量，进而通过论元对‑关系编码层和引入注意力机制建模论元对和关系的分布式表示，最后通过TransS和关系识别模块间的相互引导，优化表示参数，提升关系识别性能。

技术领域

本发明涉及自然语言处理中篇章分析技术领域，尤其是涉及篇章关系识别技术，具体为一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法。

背景技术

篇章关系描述了两个相邻的文本单元(例如，从句，句子和较大的句子组)如何在逻辑上彼此连接，通常被定义为带有两个论元的连词(分别为Arg1和Arg2)。显式篇章关系可以很容易被识别出来，其精度约为94％，而隐式篇章关系识别则没有显式连接词。因此隐式篇章关系识别仍然是一个具有挑战性的问题，其需要从特定上下文进行关系推断。隐式篇章关系识别有利于许多流行自然语言处理(Natural Language Processing,NLP)应用，如机器翻译、文本摘要、对话系统等。

现有的神经网络模型在识别隐式篇章关系方面取得了一定的成功：(1)基础神经网络可以学习到篇章论元的密集向量表示，在一定程度上可以捕获语义信息，如卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent NeuralNetwork,RNN)[1-3]；(2)进一步的研究利用了不同的注意力或记忆机制捕获论元对的重要信息[4,5]；(3)复杂神经模型利用门控关联网络或神经张量网络来捕获两个篇章论元之间更深层次的交互信息[6-8]。尽管它们获取了论元的关键信息和两个论元之间的交互信息，但仍然存在以下不足：

·忽略了对论元中有效语义信息的选择；

·没有充分利用语料已标注关系信息来探究论元对-关系的特征；

·分开研究论元表示和关系识别，忽略了它们之间的相互激励作用。

实体翻译嵌入模型(TransE)是预测知识图谱中实体之间缺失关系的一种有效方法，通过把实体关系解释为实体在低维向量空间中的翻译操作来建模关系[9]，即如果(h_e,l_e,t_e)成立，则符合尾实体向量t_e应该接近于头实体向量h_e加上关系向量l_e，但是并没有在句子级别上得到有效地应用。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，该方法为了更好进行隐式篇章关系识别，构建了基于TransS驱动的互激励神经网络。其中，句子翻译嵌入模块(Translating SentenceEmbedding,TransS)和关系识别模块相互激励、相互指导。该方法首先利用论元对-关系嵌入层得到论元对和关系的嵌入向量，进而通过论元对-关系编码层和引入注意力机制建模论元对和关系的分布式表示，最后通过TransS和关系识别模块间的相互引导，优化表示参数，提升关系识别性能。

本发明的目的是通过以下技术方案实现的：

基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，包括如下步骤：

(1)构建论元和篇章关系的嵌入层；篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量，然后通过单词的逐一映射，得到两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示；