[发明专利]一种基于多任务联合训练的问题生成方法

说明书

本发明公开了一种基于多任务联合训练的问题生成方法，采用答案词填空任务、相关度预测任务与问题生成任务联合训练，学习问题、答案与关键信息的潜在关联以提升所生成问题的价值。答案词填空任务，是将文本段落中的答案词删除，训练模型根据文本段落自动生成答案位置的单词，以使得模型具有根据段落中的信息推测答案的能力，促使模型在问题生成时更能关注对答案更重要的信息。相关度预测任务，是通过学习文本段落中单词之间的相对关系，利用规则获取每个单词与答案单词之间的相关度，使得生成的相关度能够在问题生成中作为指导和监督信息来训练模型预测文本段落中的每个词与答案之间的相关度，以促使模型在问题生成时更关注与答案强相关的单词。

技术领域

本发明涉及自然语言生成技术领域，尤其涉及一种基于多任务联合训练的问题生成方法。

背景技术

随着对话机器人、机器人客服等智能人机对话系统的广泛应用，越来越需要计算机系统能够更准确地理解和使用人类语言。“段落-问题-答案”数据是训练计算机模型实现自然语言理解和自然语言生成任务地重要数据来源，然而人工标注数据需要耗费大量的人力、物力、财力，且效率低下、数据总量少。而互联网上拥有海量无标注文本数据，可以从无标注文本段落数据中选择一个或者多个连续的词语作为答案，再使用问题生成技术生成问题，获取海量“段落-问题-答案”数据。因此，问题生成技术具有很高的研究价值与实用价值。

现有的问题生成技术多采用基于预训练语言模型进行微调的方法，然而普遍存在一个问题：无法准确抓取最关键内容，常常从不重要的角度进行提问，生成无价值的问题。这是由于问题生成任务的“一对多”特性所导致的，根据给定的段落和答案，人类可以提出多个问题，并且很容易分辨哪些问题有价值，哪些问题无价值，而对计算机系统而言，可以生成问题但是无法判断问题的价值性。生成的问题缺乏实际使用价值会导致整个“段落-问题-答案”数据集的可用性降低。

发明内容

本发明的目的是提供一种基于多任务联合训练的问题生成方法，采用两个辅助任务与问题生成任务联合训练，学习问题、答案与关键信息的潜在关联以提升所生成问题的价值，从而提升“段落-问题-答案”数据集的可用性。

本发明的目的是通过以下技术方案实现的：

一种基于多任务联合训练的问题生成方法，包括：

训练阶段：采用多任务联合的方式对深度卷积网络模型进行训练，第一轮使用答案词填空任务进行训练，第二轮使用相关度预测任务和问题生成任务进行联合训练；两轮训练交替进行直至达到设定的停止轮数超参数；其中，所述答案词填空任务是将输入文本段落的答案文本删除，并将删除的答案文本作为真实标签，训练深度卷积网络模型根据文本段落自动生成答案位置的单词；相关度预测任务是对输入文本段落，使用文本段落中每个单词与答案词在依存关系上的距离来衡量相关度，并通过训练深度卷积模型自动预测文本段落中每个单词与答案词的相关度；问题生成任务是输入文本段落与文本段落中的答案文本，将问题文本作为真实标签，训练深度卷积模型生成相应的问题文本；

测试阶段：将文本段落与答案文本以及给定的问题文本长度输入至训练好的深度卷积网络模型，输出长度不超过给定的问题文本长度的问题文本。

由上述本发明提供的技术方案可以看出，采用多任务联合训练的方法，针对问题生成任务的特性，提出利用两项有潜在关联的辅助任务：答案词填空任务、相关度预测任务，其中相关度预测任务是本专利首次提出并应用在问题生成任务上，答案词填空任务是本专利针对问题生成任务进行了特有的改进；使用两项辅助任务和问题生成任务的联合训练使得模型更好地学习答案与其他文本信息之间的潜在语义关系，获取对答案而言更重要和关键的信息，从而引导问题生成模型生成更有价值的问题。两项辅助任务针对问题生成任务有着特有的答案信息专门设计，与现有的其他自然语言生成任务上常用的多任务训练方法相比具有更细粒度更精确的优势，使模型更好地处理文本段落与答案的信息。

附图说明