[发明专利]一种基于序列化证据抽取的推理阅读理解方法及系统

权利要求书

1.一种基于序列化证据抽取的推理阅读理解方法，其特征在于，包括以下步骤：

训练基于序列化证据抽取的阅读理解模型，该模型包括编码层、推理交互层、证据预测层、答案预测层；其中：编码层使用BERT模型对输入的上下文序列C和问题Q进行编码，得到上下文编码C₀和问题编码Q₀；推理交互层采用双向注意力机制对上下文编码C₀和问题编码Q₀进行交互建模，得到交互后的上下文序列C₁和问题序列Q₁；证据预测层根据C₁和Q₁预测证据句子；答案预测层根据证据句子的预测结果以及C₁、Q₁，预测答案的类型和答案片段的开始和结束位置；

利用训练完成的所述基于序列化证据抽取的阅读理解模型，输入上下文文本和问题文本，输出答案的类型、答案文本以及相关证据句子的集合。

2.根据权利要求1所述的方法，其特征在于，所述的采用双向注意力机制对上下文编码C₀和问题编码Q₀进行交互建模，包括：

首先，计算上下文序列C₀和问题序列Q₀中每个词表示之间的相似度：其中S_kj表示上下文序列的第k个词和问题序列的第j个词的相似度，α＝W[C₀；Q₀；C₀⊙Q₀]，其中W是参数，⊙是按位点乘，[；]表示向量连接；

其次，计算上下文到问题的注意力权值：α_k＝softmax(S_k:)，即对相似矩阵S_kj的行向量S_k:进行归一化，得到权值α_k；对上下文序列C₀做加权和，得到：C₁＝∑_kα_kC₀

同理，计算问题到上下文的注意力权值：β_j＝softmax(max_col(S_kj))，其中col表示按列取最大值；再对问题序列Q₀做加权和，得到：Q₁＝∑_jβ_jQ₀。