[发明专利]一种跨文档长文本的分层融合阅读理解方法及系统

说明书

本发明涉及本发明公开一种跨文档长文本的分层融合阅读理解方法及系统，该阅读理解系统包括：问题与多文档的编码、基于注意力的联合增广表示、多步推理与多文档抽取、多文档长文本答案抽取多步融合、以及问题分类等多任务学习模块。本发明通过深度预训练的联合增广表示，对问题与文档进行编码与信息融合，使用多步推理机制对文档抽取与融合，能够解决跨文档长文本的信息离散化问题，提升多文档阅读理解的推理能力。

技术领域

本发明涉及自然语言文本分类处理领域，尤其涉及一种跨文档长文本的分层融合阅读理解方法及系统。

背景技术

随着信息技术的发展，信息爆发式的增长，对信息的整合与归纳提出了更高的要求。在人机交互场景中，从检索到推理、从单文档到多文档、从单答案到多答案融合，面临场景更加复杂，机器的阅读理解能力是体现人机智能化的重要标准，也成为研究的热点。

机器阅读理解旨在计算机如同人类一样，具备阅读由自然语言组成的材料，并对提出的问题能够进行推理回答的能力。在信息化高度发达的今天，具有重要的科研价值和工业实用价值。

近几年，机器阅读理解有了突破性的进展，在部分数据集上，甚至超越了人类的性能，但大多数都是基于篇章的文档的片段式局部词句匹配，并非基于对文档的推理与语义理解。同时，文档上也多仅限于单文档，不能解决离散化的多文档，答案局限于单片段，多片段的答案预测还是面临居多难题，满足不了现实中的人机交互场景。

现有技术主要存在以下问题：

(1)机器阅读理解中，很多相关方法仅限于单篇章的片段式抽取，处理多文档时面临信息表示分散导致抽取困难，信息表示上没有结合问题和篇章材料的权重信息，模型表示学习能力差；

(2)在模型学习过程中，现行的方法中能回答的问题偏简单，答案过于显式，模型不具备多步推理能力；

(3)在基于材料回答问题时，主流的方案多限于单答案直接抽取，不能很好的解决多文档答案的融合，性能差。

因此，现有技术存在问题，需要进一步改进。

发明内容

本发明正是针对上述问题，提出一种跨文档长文本的分层融合阅读理解方法及系统。本发明提出了跨文档长文本的分层融合阅读技术，让模型具备跨文档长文本的学习表示的能力以及多步推理、多步答案融合的能力，解决机器阅读中现行方法中几大核心难点问题。

为实现上述目的，本发明的具体技术方案如下：

一种跨文档长文本的分层融合阅读理解方法，包括步骤：

S1、通过问题、文档、问题类别编码模块分别对问题、文档、问题类别进行编码，得到对应问题表示、文档表示，其中所述文档表示包含问题关联信息；

S2、通过多步推理与多文档抽取模块，对问题表示、文档表示基于自注意力机制得到问题整合向量、文档整合向量，经多步推理得到问题关联的文档和段落分数的抽取表示；

S3、通过多文档长文本答案抽取多步融合模块，从文档和段落分数的抽取表示中经多步推理融合出一个最优的答案作为最终结果。

优选地，步骤S1中所述问题类别经由问题分类模块如下表示：

输入的问题类别c，先将其表示成维度为n_c的One-hot向量，通过随机赋值的嵌入矩阵得到问题类别的嵌入表示：

c^Q＝W_cc，

其中W_c为可训练学习的嵌入矩阵。

优选地，步骤S1中所述问题、文档、问题类别编码模块采用如下方法获得问题整合向量、文档整合向量：