[发明专利]一种基于知识追踪与转移的人机对话方法

说明书

本发明公开了一种基于知识追踪与转移的人机对话方法，包括如下步骤：步骤一，构建具备知识追踪与转移功能的模型；所述模型采用基于深度学习的编码‑解码框架，包含编码层、知识追踪转移层和解码层；步骤二，根据所构建的模型，使用先验‑后验对偶学习机制训练模型参数；步骤三，训练完成后，模型参数全部固定，然后进行实际对话应用。本发明所公开的方法进一步提升了知识选择的合适性，帮助模型生成更高用户体验的回复；其次，无监督的先验‑后验对偶学习机制不但增强进了知识追踪与转移之间的交互，保证二者的预测精度同时提升，而且显著减少了模型对人工标注数据的依赖。

技术领域

本发明属于智能人机对话领域，特别涉及一种基于知识追踪与转移的人机对话方法。

背景技术

人机对话，即人类可以通过自然语言(即人类语言)的形式与机器进行自然交互。人机对话系统的智能程度往往可以被用来衡量当今人工智能技术的发展程度，所以构建足够智能的人机对话模型是人工智能时代的长期目标。目前，人机对话的相关产品已在人类现实生活中逐渐应用，给人类生活带来了巨大便利。

对话模型有很多亟待解决的挑战，保证模型生成回复的信息性就是其中之一。目前，很多研究方法通过引入包含大量知识文本片段的外界知识库(文本片段可从百度百科等线上资源中爬取)的方式来提升回复的“信息量”，此种方法为基于知识的对话方法。具体而言，基于知识的对话方法要解决两个任务：1.知识选择，根据对话环境，从知识库中选择一条将要聊的知识片段；2.回复生成，根据所选的知识片段生成最终回复。因为选择的知识内容直接决定了回复内容的主题，不恰当的知识会直接导致不恰当的回复，所以提升基于知识的对话方法的知识选择合适性是重中之重。

但是，在知识选择上，当前的主流方法仍旧有两点显著不足。首先，在模型构建方面，几乎所有方法都仅仅拿对话上下文(用户当前的输入和之前的对话历史)去知识库里匹配知识，没有显式建模知识追踪与转移。知识追踪与转移即先定位在对话历史中已经聊过的知识(知识追踪)，然后根据聊过的知识和对话上下文共同推理下一步将要去聊的知识(知识转移)。知识追踪与转移可以额外地捕捉已经聊过的和将要聊的知识之间的交互与推理关系，相较于仅仅使用单一的上下文信息，这些额外的线索可以进一步提升知识选择的合适性。

其次，在模型训练方面，当前的主流方法都是数据驱动，无论是知识选择和回复生成，都十分依赖大规模的人工标注数据进行监督学习，这造成数据的获取成本十分高昂。然而目前很少有研究去探索使用无监督学习方法去提升知识选择，进而减少对标注数据的依赖。

发明内容

为解决上述技术问题，本发明提供了一种基于知识追踪与转移的人机对话方法，进一步提升了知识选择的合适性，帮助模型生成更高用户体验的回复；其次，无监督的先验-后验对偶学习机制不但增强进了知识追踪与转移之间的交互，保证二者的预测精度同时提升，而且显著减少了模型对人工标注数据的依赖。

为达到上述目的，本发明的技术方案如下：

一种基于知识追踪与转移的人机对话方法，包括如下步骤：

步骤一，构建具备知识追踪与转移功能的模型；

所述模型采用基于深度学习的编码-解码框架，包含编码层、知识追踪转移层和解码层；

步骤二，根据所构建的模型，使用先验-后验对偶学习机制训练模型参数；

步骤三，训练完成后，模型参数全部固定，然后进行实际对话应用。

上述方案中，所述编码层包含一个BERT编码器，分别把知识库和对话上下文编码成隐状态表示；