[发明专利]一种基于文本段落时序信息的机器阅读理解方法

说明书

本发明提供了一种基于文本段落时序信息的机器阅读理解方法，属于自然语言处理中的阅读理解技术领域。解决了时序信息获取不充分的问题，提出一种基于文本段落时序信息的机器阅读理解方法。一种基于文本段落时序信息的机器阅读理解方法，包括S1、采用了BERT‑base模型获得较为准确的词向量特征表示；S2、使用时间卷积网络提取文本时序特征，时间卷积网络包括因果空洞卷积和残差连接，因果空洞卷积可以很好的提取文本时序特征，残差连接防止可能会引起的梯度消失等问题等优点；S3、使用双向长短时记忆网络实现分段间的信息传递。本发明具有解决了时序信息获取不充分的问题；可以在不同分段之间传递信息，整合文本上下文信息。

技术领域

本发明属于自然语言处理中的阅读理解技术领域，涉及一种基于文本段落时序信息的机器阅读理解方法。

背景技术

使用预训练模型解决机器阅读理解问题已经成为一种趋势。但例如BERT这样的模型通常由一些只允许固定长度输入的transformer层组成。但是，一些阅读理解数据集比如对话类数据集，通常会超出长度限制，因为实际情况下可能需要将对话过程中先前提出的问题、当前的问题以及相对应的文档合并到输入中才能回答当前的问题。

由于BERT采用固定长度的文本作为输入，对于那些超出长度的输入，通常将它们分成等距的段，并根据每个分段独立地预测答案，而不考虑其他分段的信息。但这样便无法整合不同分段间的时序信息，无法回答需要跨句段获取信息的问题。

针对时序信息获取不充分的问题，提出一种基于文本段落时序信息的机器阅读理解方法，该方法在预训练语言模型BERT的基础上融合了文字的时序位置信息与文档分段间的时序信息，并使用时间卷积网络提取更加丰富的时序信息。

发明内容

本发明的目的是针对现有的技术存在的上述问题，提供一种基于文本段落时序信息的机器阅读理解方法，本发明所要解决的技术问题是在预训练语言模型BERT的基础上使用文字的时序位置信息与文档分段间的时序信息，并使用时间卷积网络提取更加丰富的时序信息，解决时序信息无法利用的问题。

本发明的目的可通过下列技术方案来实现：一种基于文本段落时序信息的阅读理解方法，其特征在于：

S1、使用预训练语言模型BERT获得较为准确的词向量特征表示；

S2、使用时序信息提取模块获取文本时序特征；

S3、针对不同的分段，通过信息传递交互模块实现分段间的时序信息交互；

S4、利用答案预测模块输出答案。

预训练语言模型BERT采用了BERT-base模型获得较为准确的词向量特征表示，而BERT中的位置编码机制有利于获取细粒度的文字时序位置信息。

首先对问题和文档分段进行分词处理，即将句子转为词级别的序列，之后按照BERT的输入格式输入。如果问题+文档片段的长度大于BERT规定的最大长度，将以一定的步长分割为若干段，分别和问题连接；

时序信息提取模块使用时间卷积网络提取文本时序特征，在本发明中时间卷积网络的输入是问题和文章的词向量表示，每一层使用1维空洞卷积网络，每层之间采用残差的方法连接。卷积核大小为3，输出根据当前状态，以及之前的时间步的状态决定。此外，时间卷积网络中的残差连接使得网络可以以跨层的方式传递信息，也能预防可能会引起的梯度消失等问题。

信息传递交互模块使用双向长短时记忆网络实现分段间的信息传递，在本发明中使用双向长短时记忆网络BiLSTM作为信息传递机制。

答案预测模块将文章中的一个跨度提取出作为答案具体的，对文章中的每个词进行评估，预测其为答案开始位置以及答案结束位置的概率。

与现有技术相比，本发明具有以下优点：

1、解决了时序信息获取不充分的问题；