[发明专利]一种面向开放域问答的基于机器阅读理解的答案获取方法及系统

权利要求书

1.一种面向开放域问答的基于机器阅读理解的答案获取方法，其特征在于，包括：

S1：获取阅读理解数据集，划分出训练集、验证集和测试集，对获取的阅读理解数据集进行预处理；

S2：构建阅读理解的答案获取模型，阅读理解的答案获取模型包括文档和问题的语义编码模块、信息交互编码模块以及答案获取模块，其中，文档和问题的语义编码模块用于从输入的数据集中捕获和编码得到文档的上下文语义表示和问题的上下文语义表示，信息交互编码模块用于根据文档的上下文语义表示和问题的上下文语义表示，捕获和编码得到与问题相关的文档编码表示，答案获取模块用于根据与问题相关的文档编码表示，获取答案；

S3：根据划分出的训练集和设置的损失函数，对阅读理解的答案获取模型包含的文档和问题的语义编码模块、信息交互编码模块以及答案获取模块进行联合训练，获得训练好的阅读理解的答案获取模型；

S4：利用训练好的阅读理解的答案获取模型对待处理的数据进行预测，得到对应的答案；

其中，文档和问题的语义编码模块采用BERT的预训练语言模型，BERT的预训练语言模型包括多头自注意力层，S2中文档和问题的语义编码模块用于从输入的数据集中捕获和编码得到文档的上下文语义表示和问题的上下文语义表示，包括：

通过以下公式计算自注意力：

其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，T表示矩阵的转置操作，d_k是一个参数；

根据计算出的多组自注意力，得到多头注意力层的最终输出：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，head₁、head_h分别表示第一组和第h组自注意力，W^o是一个权重矩阵，并且，在输入嵌入的基础上增加位置嵌入来标记并保存文本间的位置信息，从而得到问题与文档的序列信息，多头注意力层的最终输出为文档的上下文语义表示和问题的上下文语义表示；

信息交互编码模块采用信息交互注意力网络，S2中信息交互编码模块用于根据文档的上下文语义表示和问题的上下文语义表示，捕获和编码得到与问题相关的文档编码表示，包括：

计算注意力矩阵中的元素：

此处的W′与v分别是权重矩阵和权重向量，p_i表示文档的上下文语义表示，q_j表示问题的上下文语义表示；

基于注意力矩阵的元素，得到文档对问题的注意力上下文向量c_i：

将注意力上下文向量与文档上下文语义表示进行并联，得到新的带注意力的文档向量，作为与问题相关的文档编码表示p′_i：

p′_i＝[p_i；c_i]。

2.如权利要求1所述的方法，其特征在于，S1包括：

S1.1：从已有的数据源获取阅读理解数据集，划分出训练集、验证集和测试集，其中，阅读理解数据集中包括文档和问题；

S1.2：对阅读理解数据集中包含的文档和问题进行拆分，使得每个问题与文档进行对应，删除数据集中的无效数据。

3.如权利要求1所述的方法，其特征在于，答案获取模块采用指针网络PointerNetworks，指针网络包括RNN编码器和解码器，答案获取模块用于根据与问题相关的文档编码表示，获取答案，包括：

将与问题相关的文档编码表示输入RNN编码器处理，通过注意力向量进行解码，取归一化后的注意力向量中的最大值所对应的位置作为解码器的当前输出，解码公式如下：

其中，e_j是RNN编码器的隐状态，d_i表示解码器的第i个隐状态，j∈(1,...m)，PointerNetworks的解码次数为两次，i∈{1,2}，C_i表示第i个指针指向的位置；

根据s＝softmax(u¹)、e＝softmax(u²)获得答案的开始位置概率向量与结束位置概率向量，从而得到预测的答案。