[发明专利]一种基于语言模型和强化学习的关键词问答方法

权利要求书

1.一种基于语言模型和强化学习的关键词问答方法，其特征在于，包括以下步骤：

(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器，用于对问题句进行分类；

(2)在自然语言问题句的数据集上预训练一个语言模型；

(3)提取步骤(2)中语言模型的高层网络，建立一个包含语言模型高层网络的问题重构模型，并用关键词问题句和其对应的自然语言问题句来训练问题重构模型；

(4)使用训练好的问题重构模型对数据集中由关键词问题分类器分类得到的关键词问题句进行重构；

(5)训练一个问答模型，将重构后的关键词问题句输入问答模型，得到预测答案，并以预测答案与标准答案的相似度F1值作为奖励函数，用强化学习来优化问题重构模型；

(6)问题重构模型训练完毕，将待测试的问题句输入关键词问题分类器，如果是自然语言问题，则直接输入问答模型，如果是关键词问题句，则先输入问题重构模型进行重构后再输入问答模型，最后得出问题的答案。

2.根据权利要求1所述的基于语言模型和强化学习的关键词问答方法，其特征在于，步骤(1)中，关键词问题分类器对问题句进行分类的过程为：

首先用词向量Glove对句子做词嵌入，之后送入关键词问题分类器的编码器中，得到每个句子的表达矩阵；再将表达矩阵的首尾两个隐藏单元提取出，并用线性变换投射为二分类向量，判断句子属于关键词问题句或自然语言问题句。

3.根据权利要求1所述的基于语言模型和强化学习的关键词问答方法，其特征在于，步骤(2)中，所述的语言模型包含词向量Glove和三层双向长短时记忆网络，其工作机制为：

首先使用Glove词向量将数据集中的自然语言问题句进行词向量嵌入，然后用三层双向长短时记忆网络来编码文本信息，最终使用条件概率来根据输入文本预测下一个词。

4.根据权利要求1所述的基于语言模型和强化学习的关键词问答方法，其特征在于，步骤(3)中，所述问题重构模型包含一个由三层双向长短时记忆网络组成的编码器、一个三层长短时记忆网络组成的解码器、以及一个从语言模型中提取的高层网络，所述高层网络为第三层双向长短时记忆网络。

5.根据权利要求4所述的基于语言模型和强化学习的关键词问答方法，其特征在于，步骤(4)中，问题重构模型对关键词问题句进行重构的具体步骤为：

(4-1)用词向量Glove来对关键词问题句做词嵌入，之后送入问题重构模型的编码器进行编码；

(4-2)编码器的第二层双向长短时记忆网络的输出作为语言模型中提取的第三层网络的输入；

(4-3)将语言模型第三层网络的输出和重构模型中编码器第三层的输出进行合并，送入问题重构模型的解码器进行解码，输出重构后的问题句。

6.根据权利要求1所述的基于语言模型和强化学习的关键词问答方法，其特征在于，步骤(5)中，用强化学习来优化问题重构模型的具体公式为：

J＝-E_q～π(q|kq)[R(a^g,a^q)]

其中，π(q|kq)是之前的问题重构模型，R(a^g,a^q)是奖励函数，也就是生成的答案a^q和标准答案a^g的F1值；使用束搜索进行采样，并保证标准问题在最终的采样池中。