[发明专利]中文篇章树的构建方法

说明书

本发明公开了一种中文篇章树的构建方法。本发明一种中文篇章树的构建方法，包括：依次将篇章中由人工分割字句得到的标准篇章基本单元的词向量和词性标记向量拼接并输入篇章基本单元编码器(EDU Encoder)以获取各个篇章基本单元的编码结果；将EDU Encoder编码得到的各个篇章基本单元的向量表征输入分割点编码器(Split Encoder)实现对相邻篇章基本单元之间的分割点的表征；将Split Encoder对各个分割点的编码结果输入一个编码器—解码器结构(Encoder‑Decoder)，以编码—解码的形式进行分割点选择；本发明的有益效果：本发明首次采用了自顶向下的篇章解析模式，将传统的自底向上的篇章树节点的构建过程转换为自顶向下的分割点选择的过程。

技术领域

本发明涉及自然语言处理领域，具体涉及一种中文篇章树的构建方法。

背景技术

篇章分析(Discourse Parsing)旨在将序列形式的篇章分割成若干连续的篇章基本单元并采用自底向上或者自顶向下的方式将这些篇章基本单元合并，最终形成一棵篇章修辞结构树。一棵完备的修辞结构树的各相邻节点间分配了修辞关系和核性关系，这对许多自然语言处理应用有推动作用。图1中给出了利用篇章分析技术对一段篇章解析得到的篇章树的示例，叶节点为篇章基本单元，内部节点代表功能语句，各内部节点均标注了该节点的孩子节点之间的修辞关系和核性关系。

传统技术存在以下技术问题：

当前的篇章分析技术在英文篇章树库RST-DT中研究的最多。自2014年中文篇章树库CDTB发布以来，中文篇章分析技术才逐渐发展起来，但是关于中文篇章分析的研究还不够成熟，相关研究较少。此外，当前已出现的篇章解析器均采用自底向上的篇章树构建方式。在该模式中，篇章基本单元作为最小的功能语句先由修辞关系连接以合并成上层的更大的功能语句，这些功能语句之间自底向上不断合并，最终形成与该篇章对应的修辞结构树。自底向上的节点构建过程的局限性主要体现在两方面：1.难以并行计算；2.构建各个功能语句的根节点表征时无法考虑篇章的全局信息。所以，将自底向上的节点构建过程转换成自顶向下的分割点选择的过程是解决这两个问题的有效方法。

现有的篇章解析器均采用自底向上的解析模式，在该模式下，篇章级别的文本表征直接来自左右孩子，破坏了篇章原有的长序列结构，表征具有较强的模糊性。同时，人类在阅读长文本时，从整体到局部的阅读顺序会使得文章更容易被理解，而自底向上的解析模式与人类的这种行为逻辑相悖。此外，自底向上的解析方式使得模型的训练效率大打折扣，很难利用当前丰富的并行计算资源。

发明内容

本发明要解决的技术问题是提供一种中文篇章树的构建方法，首次采用了自顶向下的篇章解析模式。在该模式下，我们的解析器将自底向上的节点表征问题转换为自顶向下的分割点的选择问题。在解析过程中，本发明最先选择的切割点所在的位置即为根节点位置，同样地，将切割得到的各个分部分别再做切割则得到各个分部对应的子树的根节点，重复这个操作直到所有分部均不可再分为止。该方法使得对顶端节点的预测过程中充分考虑了篇章的全局信息。同时，从整体到局部的篇章理解顺序也符合人类的行为逻辑。此外，本发明在技术上实现了批量处理，大大提升了篇章解析器模型的训练效率。

为了解决上述技术问题，本发明提供了一种中文篇章树的构建方法，包括：

从CDTB语料库中获取人工分割字句得到的标准篇章基本单元，依次将篇章中的各个篇章基本单元的词向量和词性标记向量拼接并输入EDU Encoder获取各个篇章基本单元的编码结果；

将EDU Encoder编码得到的各个篇章基本单元的向量表示输入Split Encoder实现对相邻篇章基本单元之间的分割点的表征；

将Split Encoder编码的当前功能语句中的分割点输入到Encoder-Decoder结构，编码端利用一个单向GRU对分割点表征进行编码，解码端以篇章的首、尾分割点序号对初始化解码端的栈结构；