[发明专利]基于Dot Triple-Attention机制的选择式阅读理解方法和装置

说明书

本发明公开了基于Dot Triple‑Attention机制的选择式阅读理解方法及装置、存储介质、电子设备，属于自然语言处理、人工智能领域，本发明要解决的技术问题为如何更高效地利用文章信息来促进问句与选项间的交互以及如何实现三个序列之间的直接交互，从而提高选择式阅读理解系统的预测准确性，采用的技术方案为：①一种基于Dot Triple‑Attention机制的选择式阅读理解方法，包括如下模块：预训练嵌入表示模块、特征过滤模块、DotTriple‑Attention交互模块、特征聚合模块和标签预测模块。②一种基于DotTriple‑Attention机制的选择式阅读理解装置，包括：预训练嵌入表示模块单元、特征过滤模块单元、Dot Triple‑Attention交互模块单元、特征聚合模块单元和标签预测模块单元。

技术领域

本发明涉及人工智能、自然语言处理技术领域，具体涉及一种基于Dot Triple-Attention机制的选择式阅读理解方法和装置。

背景技术

机器阅读理解是一种利用算法使计算机理解文章语义并回答相关问题的任务。机器阅读理解是自然语言处理领域中的一项热门任务，可细分为四类：填空式阅读理解、抽取式阅读理解、选择式阅读理解和生成式阅读理解。其中，选择式阅读理解任务中的候选答案选项是由人类专家拟定的，选项内容一般并不会直接出现在文章中。在该任务中，正确地选择答案，需要强大的总结和推理能力。选择式阅读理解需要依赖给定的文章，针对问句提出的问题，在多个选项中选择出正确的答案。正确的答案选项必须符合两个要求：(1)该答案选项要符合文章的语义描述。如前文所述，由于选项的内容并不会直接出现在原文中，因此若要确定该选项是否符合文章语义，就需要阅读理解系统能够在文中找出与该选项相关的部分，并与该选项进行类比推理，从而确定该选项是否符合文章语义。(2)该答案选项必须与相应的问句相关。有些选项可能自身的表述并没有问题，也符合文章中的描述，但可能是答非所问，并非是该问句的答案。因此，选择式阅读理解是一项非常有挑战性的任务，到目前为止，现有的方法并没有实质性地解决这一问题。

为了能够有效利用文章中的信息，现有的大多数方法会将文章信息通过不同的方式融合到问句或选项中去，然后对问句和选项进行交互匹配，最终在多个选项中选择一个与该问句匹配度最高的选项作为正确答案。这类方法的优点是简洁并且易于实现，但是问题在于选择式阅读理解本身是判断三个文本序列(即文章、问句、选项)间关系的任务，而以融合的方式来利用文章信息，除了融合过程导致的信息丢失外，还必然会导致序列间的交互不充分，从而降低阅读理解模型的准确率。因此，若要彻底解决这个问题，就迫切需要一种可以实现三个文本序列直接进行交互的机制。但是，目前自然语言处理领域中所使用的序列间交互机制大多是注意力机制。现有的注意力机制只能实现两者间的交互，而无法捕获更多序列间的交互。对于选择式阅读理解任务而言，若不能对文章、问句和选项三者直接进行交互，则会导致交互过程不充分，从而影响模型的整体性能。

针对现有方法的弊端，本发明提出了一种基于Dot Triple-Attention机制的选择式阅读理解方法和装置，其可以实现文章、问句和选项三个文本序列之间的直接交互，从而提高选择式阅读理解系统的预测准确性。

发明内容

本发明的技术任务是提供基于Dot Triple-Attention机制的选择式阅读理解方法及装置、存储介质、电子设备，来解决如何使得文章、问句和选项三个文本序列进行直接交互的问题，从而提高选择式阅读理解系统的预测准确性。

本发明的技术任务是按以下方式实现的，一种基于Dot Triple-Attention机制的选择式阅读理解方法，该方法包括如下步骤：

S1、获取选择式阅读理解数据集：从网络上下载已经公开的选择式阅读理解数据集或者自行构建数据集；

S2、构建选择式阅读理解模型：基于Dot Triple-Attention机制构建选择式阅读理解模型；