[发明专利]基于句法图卷积的汉越双语新闻事件因果关系抽取方法

说明书

本发明涉及基于句法图卷积的汉越双语新闻事件因果关系抽取方法，属于自然语言处理技术领域。本发明步骤包括：所述方法首先利用对抗学习的思想将预训练得到的双语词向量映射到同一个语义空间中；然后利用句法图卷积神经网络捕获事件句深层语义信息。最后通过结合事件类型的交叉注意力机制得到不同语言事件句的深层次语义特征。本发明发明将从描述事件信息的汉越新闻文本中抽取出原因事件和结果事件，并以结构化的形式将其呈现出来，主要研究工作针对稀缺型语言进行开展，解决了现有的事件因果关系抽取方法对隐式因果语义关系捕获能力欠佳的问题。

技术领域

本发明涉及基于句法图卷积的汉越新闻事件因果关系抽取方法，属于自然语言处理技术领域。

背景技术

越南与我国毗邻，越南与国内交流日益密切，相关的新闻事件越来越多，而这些报道分布在国内及越南相关网站及媒体上，呈现为中文或者越南文。而新闻事件往往不是孤立存在的，事件之间存在着关联关系。如何及时有效了解国内及越南新闻事件之间的关联关系意义重大。

事件因果关系抽取是事件关联关系抽取的任务之一。事件因果关系抽取主要分为三类：基于模式匹配的方法、基于模式匹配与机器学习组合的方法和基于深度学习的方法。其中基于模式匹配的方法利用语义特征、词汇符号特征等特征通过模式匹配进行因果关系的提取。Girju等使用句法模式提取因果关系，然后使用语义约束将候选对分类为因果对或非因果对；Ittoo等提出一种基于词性、句法分析和因果模板的因果对提取方法。完全依赖于模式匹配规则的方法通常跨域适应性差，在解决特定领域的问题时可能需要广泛的领域知识。基于模式和机器学习相结合的方法主要以流水线的方式解决因果关系的抽取任务，将因果关系抽取分为两个子任务，候选因果对提取和关系分类。首先根据模板或一些线索词提取可能具有因果关系的候选事件对，然后根据语义特征和语法特征对候选因果对进行分类筛选出因果对。Luo等从大规模网络文本语料库中提取因果关系术语，然后基于点态相互信息的统计度量使用因果线索来度量网络文本语料之间的因果强度。

随着计算机能力的提升和高质量数据集的出现，且深度神经网络具有强大的表征学习能力，可以有效捕获描述事件文本中隐含的因果语义关系，基于神经网络的方法成为目前主流的方法。De Silva等使用卷积神经网络(Convolution Neural Network，CNN)对文本中的因果关系进行分类；Kruengkrai等选择使用CNN从嘈杂的文本中提取背景知识来分类常识性的因果关系；Li等提出了一种面向知识的CNN，它结合了词汇知识库中的先验知识进行因果关系分类；Dasgupta等还通过基于长短期记忆(Long Short-Term Memory，LSTM)网络的深层模型，从语言的角度确定了文本中因果关系的语言表达。基于深度神经网络的事件因果关系识别模型的性能需要大规模且高质量的标注语料。因果关系之间的实体距离有时也相距甚远，因果三元组中的长程依赖关系给深层学习模型带来了困难和模糊。为了准确地提取出因果三元组，Li等提出了一种以BiLSTM-CRF模型为架构的因果关系抽取模型SCIFI(Self-Attentive BiLSTM-CRF wIth FlaIr Embeddings)。模型使用一种新的因果关系标注方案直接抽取因果关系，为了解决数据不足的问题，将上下文嵌入应用到了到因果关系抽取任务中。为了捕获特定任务的字符特征，采用单层CNN结构与最大池化操作来学习字符级表示。通过双向的LSTM进行特征抽取。之后经过多头自注意力(Multi-Head Self-Attention，MHSA)学习给定句子中因果关系的依存关系，最终传入到CRF层进行实体的标注进行因果关系的实体对的抽取。以上基于端到端深度学习的事件因果关系抽取方法主要是在单语场景下开展的相关研究，在多语言尤其是在汉越双语场景下还未见相关报到。综上所述，汉越双语新闻事件因果关系识别目前面临着以下两个方面的问题：1)基于端到端神经网络新闻事件因果关系抽取方法，严重依赖大规模的且高质量的标注语料，而汉语-越南语的事件对齐语料稀缺，难以将两种语言很好的映射到同一个语义空间中；2)新闻事件因果关系抽取需要模型捕获事件句中深层次的语义关系，现有基于端到端深度学习的模型在事件因果关系抽取上取得了一定效果，但依然存在事件句内深层语义信息捕获不足，从而导致隐式因果关系边界识别模糊等问题。