[发明专利]一种基于语言模型和强化学习的关键词问答方法

说明书

本发明公开了一种基于语言模型和强化学习的关键词问答方法，包括以下步骤：(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器；(2)在自然语言问题句的数据集上预训练一个语言模型；(3)将步骤(2)中的语言模型高层网络提取，并用关键词问题句和其对应的自然语言问题句来训练一个含语言模型网络的问题重构模型来重构由步骤(1)判断为关键词问题句的问题；(4)将重构的问题句送入一个训练好的问答模型中，得到答案；(5)利用强化学习，以步骤(4)中预测答案和标准答案的相似度作为奖励函数来优化步骤(3)中的重构模型。利用本发明，可以大大提升了在大规模数据集上关键词问答任务的准确率。

技术领域

本发明属于自然语言处理领域，尤其是涉及一种基于语言模型和强化学习的关键词问答方法。

背景技术

一直以来，问答类任务都是自然语言处理中最为热门和棘手的问题之一。在目前最热门的任务中，都是给定一篇文章和一个问题，我们需要根据文章找出这个问题的答案。然而，人类在与机器交互的时候经常会以关键词的形式表达问题，而很少输入一个完整的句子。一个高效的并能回答关键词问题的机器问答模型可以在以语义理解为基础的众多领域得到广泛应用，如对话机器人，问答系统和搜索系统等。

早期的一些工作尝试过将关键词问题转换成自然语言的问题，但所用的方法也都是传统的规则类方法。这样的方法生成的句子受制于一些固定的模板和规则，也无法解决信息不全的问题。最近，一些问题生成模型利用神经网络基于几个独立的关键词生成问题句。比如2017年发表在国际顶级自然语言处理会议Annual Meeting of the Associationfor Computational Linguistics上的《Learning to Ask:Neural Question Generationfor Reading Comprehension》在第3页到第4页公布了一种注意力机制序列到序列算法(NQG)；2018年发表在国际顶级自然语言处理会议Conference on Empirical Methods inNatural Language Processing上的《Answer-focused and position-aware neuralquestion generation》在第3页到第6页公布了一种称为Hybrid Model的答案定位算法；2018年发表在国际顶级自然语言处理会议Annual Meeting of the Association forComputational Linguistics上的《Harvesting paragraph-level question-answerpairs from wikipedia》在第3页到第6页公布了一种用共生关系在文章中找问答对的方法。然而这些方法所基于的关键词都是独立的，并不是人在日常生活中会组织的关键词问题，所以这些方法不会探索这些关键词所代表的具体意思。

语言模型的运用一直是自然语言理解的一个核心问题之一，因为语言模型的无监督性使得其不需要大量的标注数据，从而可以充分利用随处可见的无标注数据来训练模型。之前有相关技术将语言模型迁移到其他任务上，并且取得了可观的效果。然而，这些技术都是直接将语言模型的编码层与当前模型的词向量连接在一起作为当前模型编码层的输入。这种方法依赖于当前输入数据的语法完整性，无法在关键词组成的问题句上取得很好的效果。

发明内容

本发明提供了一种基于语言模型和强化学习的关键词问答方法，通过语言模型来将自然语言问题句的内在特征迁移到关键词问题上，并用强化学习来优化模型，大大提升了在大规模数据集上关键词问答任务的准确率。

本发明的技术方案如下；

一种基于语言模型和强化学习的关键词问答方法，包括以下步骤：

(1)用关键词问题句和自然语言问题句的混合数据集来训练一个关键词问题分类器，用于对问题句进行分类；

(2)在自然语言问题句的数据集上预训练一个语言模型；