[发明专利]一种机器阅读理解方法、装置、设备及存储介质

权利要求书

1.一种机器阅读理解方法，其特征在于，包括：

对待理解的文本数据和目标问题进行编码融合，得到第一矩阵；

基于多头注意力机制对所述第一矩阵进行处理，得到第二矩阵；

对所述第二矩阵进行掩码操作，分别得到文本矩阵和问题矩阵；

基于协同多头注意力机制对所述文本矩阵和所述问题矩阵进行处理，得到第三矩阵；

从所述第三矩阵中提取出第一特征矩阵和第二特征矩阵，所述第一特征矩阵用于表征所述目标问题的答案的起始位置，所述第二特征矩阵用于表征所述目标问题的答案的结束位置；

基于所述第一特征矩阵和所述第二特征矩阵分别确定所述目标问题的答案的起始位置和所述目标问题的答案的结束位置。

2.根据权利要求1所述的机器阅读理解方法，其特征在于，对待理解的文本数据和目标问题进行编码融合，得到第一矩阵，包括：

将待理解的文本数据和目标问题输入BERT-base模型的输入层中进行编码，得到第一矩阵。

3.根据权利要求2所述的机器阅读理解方法，其特征在于，所述BERT-base模型的输入层包括词嵌入层、位置嵌入层和分段嵌入层，将待理解的文本数据和目标问题输入BERT-base模型的输入层中进行编码，得到第一矩阵，包括：

在所述词嵌入层对文本数据和目标问题中的词进行词嵌入操作，得到词嵌入矩阵；

在所述位置嵌入层对文本数据和目标问题中的词进行位置嵌入操作，得到位置嵌入矩阵；

在所述分段嵌入层对文本数据和目标问题进行分段嵌入操作，得到分段嵌入矩阵；

将所述词嵌入矩阵、所述位置嵌入矩阵和所述分段嵌入矩阵进行加和，得到第一矩阵。

4.根据权利要求1所述的机器阅读理解方法，其特征在于，基于多头注意力机制对所述第一矩阵进行处理，得到第二矩阵，包括：

将所述第一矩阵输入BERT-base模型的编码层中进行处理，得到第二矩阵。

5.根据权利要求4所述的机器阅读理解方法，其特征在于，所述BERT-base模型的编码层包括依次堆叠的M层多头注意力层，M为大于或等于2的正整数，将所述第一矩阵输入BERT-base模型的编码层中进行处理，得到第二矩阵，包括：

将所述第一矩阵输入第一层多头注意力层中进行处理，得到第一注意力矩阵；

将所述第一注意力矩阵与所述第一矩阵进行加和，得到第一融合矩阵；

将所述第一融合矩阵输入全连接前馈层中进行处理，得到第一全连接矩阵；

将所述第一全连接矩阵与所述第一融合矩阵进行加和，得到第二融合矩阵；

将所述第二融合矩阵作为下一层多头注意力层的输入矩阵，以此类推，得到第二矩阵。

6.根据权利要求5所述的机器阅读理解方法，其特征在于，将所述第一矩阵输入第一层多头注意力层中进行处理，得到第一注意力矩阵，包括：

采用三个不同的线性变换系数对所述第一矩阵做线性变换，分别得到矩阵Q、矩阵K和矩阵V；

将所述矩阵Q、矩阵K和矩阵V分别进行m次线性变换，得到矩阵Q^h、矩阵K^h和矩阵V^h，其中，h∈m，m为所述多头注意力层的注意力头数；

计算所述矩阵Q^h与所述矩阵K^h点乘，得到第一子矩阵；

计算所述第一子矩阵与所述矩阵K^h的维数的平方根的商，得到第二子矩阵；

对所述第二子矩阵进行归一化处理，得到第三子矩阵；

计算所述第三子矩阵与所述矩阵V^h的点乘，得到第四子矩阵；

将m个第四子矩阵进行拼接，得到第一拼接矩阵；

对所述第一拼接矩阵进行线性变换，得到第一注意力矩阵。

7.根据权利要求1-6任一所述的机器阅读理解方法，其特征在于，对所述第二矩阵进行掩码操作，分别得到文本矩阵和问题矩阵，包括：

采用文本掩码矩阵对所述第二矩阵中的文本分量进行屏蔽，得到问题矩阵；

采用问题掩码矩阵对所述第二矩阵中的问题分量进行屏蔽，得到文本矩阵。