[发明专利]一种机器阅读理解方法、装置、设备及存储介质

说明书

本发明公开了一种机器阅读理解方法、装置、设备及存储介质。方法包括：对待理解的文本数据和目标问题进行编码融合，得到第一矩阵，基于多头注意力机制对第一矩阵进行处理，得到第二矩阵，对第二矩阵进行掩码操作，分别得到文本矩阵和问题矩阵，基于协同多头注意力机制对文本矩阵和问题矩阵进行处理，得到第三矩阵，从第三矩阵中提取出第一特征矩阵和第二特征矩阵，基于第一特征矩阵和第二特征矩阵分别确定目标问题的答案的起始位置和目标问题的答案的结束位置。本发明实施例能够更好地细化注意力焦点，进而提高预测的答案的准确度。

技术领域

本发明实施例涉及机器阅读理解技术领域，尤其涉及一种机器阅读理解方法、装置、设备及存储介质。

背景技术

机器阅读理解(Machine Reading Comprehension，MRC)是自然语言处理的核心任务之一，它对于搜索引擎、智能客服等都有直接的应用价值。

机器阅读理解是指：给定一段文本，如果对于任何有关该文本的问题，大多数母语人士能够正确回答，且机器可以提供一个字符串，使发言者同意该字符串能够回答此问题，并且不包含与之无关的信息。

机器阅读理解方法分为两类：分别为生成式和抽取式。生成式是从理论上来说不受知识的局限，对于问题自动生成答案。但是生成式有时产生的答案答非所问、句式不通，不能很好地体现出人类的思维逻辑以及自然表述的特点。抽取式通过给定问题以及相关的文章训练语言模型，让机器具备阅读的能力，并对提出的新问题，语言模型在相关文章中抽取出相应的答案。相对于生成式而言，抽取式的技术优势更加明显，应用更为广泛。

目前大部分抽取式机器阅读理解的语言模型的输出是一个上下文和问题连接在一起的一个长向量，此时模型并没有足够的能力去细化这一个长向量注意力的焦点，随着层数的增多，上下文与问题之间的注意力就会逐渐被分散，造成模型的预测能力减弱，预测的答案准确度低。

发明内容

本发明提供一种机器阅读理解方法、装置、设备及存储介质，以实现有针对性的对文本数据和目标问题进行相互关注，能够更好地细化注意力焦点，进而提高预测的答案的准确度。

第一方面，本发明实施例提供了一种机器阅读理解方法，包括：

对待理解的文本数据和目标问题进行编码融合，得到第一矩阵；

基于多头注意力机制对所述第一矩阵进行处理，得到第二矩阵；

对所述第二矩阵进行掩码操作，分别得到文本矩阵和问题矩阵；

基于协同多头注意力机制对所述文本矩阵和所述问题矩阵进行处理，得到第三矩阵；

从所述第三矩阵中提取出第一特征矩阵和第二特征矩阵，所述第一特征矩阵用于表征所述目标问题的答案的起始位置，所述第二特征矩阵用于表征所述目标问题的答案的结束位置；

基于所述第一特征矩阵和所述第二特征矩阵分别确定所述目标问题的答案的起始位置和所述目标问题的答案的结束位置。

第二方面，本发明实施例还提供了机器阅读理解装置，该装置包括：

编码融合模块，用于对待理解的文本数据和目标问题进行编码融合，得到第一矩阵；

第一注意力模块，用于基于多头注意力机制对所述第一矩阵进行处理，得到第二矩阵；

掩码操作模块，用于对所述第二矩阵进行掩码操作，分别得到文本矩阵和问题矩阵；

第二注意力模块，用于基于协同多头注意力机制对所述文本矩阵和所述问题矩阵进行处理，得到第三矩阵；

特征矩阵提取模块，用于从所述第三矩阵中提取出第一特征矩阵和第二特征矩阵，所述第一特征矩阵用于表征所述目标问题的答案的起始位置，所述第二特征矩阵用于表征所述目标问题的答案的结束位置；