[发明专利]一种基于知识追踪与转移的人机对话方法

权利要求书

1.一种基于知识追踪与转移的人机对话方法，其特征在于，该方法包括如下步骤：

步骤一，构建具备知识追踪与转移功能的模型；

所述模型采用基于深度学习的编码-解码框架，包含编码层、知识追踪转移层和解码层；

步骤二，根据所构建的模型，使用先验-后验对偶学习机制训练模型参数；

步骤三，训练完成后，模型参数全部固定，然后进行实际对话应用；

所述编码层包含一个BERT编码器，分别把知识库和对话上下文编码成隐状态表示；

所述知识追踪转移层包含一个先验知识追踪器pri、一个知识转移器shi和一个后验知识追踪器pos，先验知识追踪器pri把对话上下文的隐状态表示作为输入，预测一个在知识库中所有文本片段上的先验知识追踪分布，从该分布中可采样一个追踪到的知识及其隐状态表示；知识转移器shi把追踪到的知识与对话上下文的隐状态表示共同作为输入，预测一个在知识库中所有文本片段上的知识转移分布，从该分布中可采样一个转移到的知识及其隐状态表示；后验知识追踪器pos额外地把转移到的知识的隐状态表示作为输入，预测一个在知识库中所有文本片段上的后验知识追踪分布，从该分布中可采样一个追踪到的知识及其隐状态表示；

所述解码层包含一个Transformer解码器，其将转移到的知识与对话上下文的隐状态表示共同作为输入，逐词生成最终回复；

步骤二的训练过程中，使后验知识追踪器pos和知识转移器shi互为对偶任务，使二者以无监督的方式互相指导提升，多轮迭代直至收敛，并且使先验知识追踪器pri同时从二者的对偶交互中获益；具体训练过程如下:

Step1：热身训练，使用极大似然估计最大化训练集中标注数据的概率，训练至参数收敛后，热身训练结束；

Step2：单轮迭代开始，首先通过后验知识追踪器pos去指导提升知识转移器shi；

Step3：通过知识转移器shi指导提升后验知识追踪器pos；

Step4：将KL散度损失与MLE损失线性加和进行联合训练，令先验知识追踪分布模拟并逼近后验知识追踪分布；至此，单轮迭代结束；

Step5：重复执行Step2-Step4，形成多轮迭代，直至模型参数进一步收敛。

2.根据权利要求1所述的一种基于知识追踪与转移的人机对话方法，其特征在于，后验知识追踪器pos与知识转移器shi之间形成一个对偶闭环，且后验知识追踪器pos仅在模型训练时执行，在模型应用时不执行。

3.根据权利要求1所述的一种基于知识追踪与转移的人机对话方法，其特征在于，步骤三在实际对话应用中，给定知识库和包含用户输入的对话上下文，先执行BERT编码器获取二者的隐状态表示，而后按顺序执行先验知识追踪器pri和知识转移器shi，完成知识追踪与转移，最后将知识转移器shi推出的转移到的知识喂给Transformer解码器生成最终回复。