[发明专利]一种融合知识的对话生成方法

说明书

本发明公开了一种融合知识的对话生成方法，包括如下步骤：S1、构建知识图谱；S2、构建对话模型，所述对话模型由编码器和解码器组成，构建过程包括词编码、知识编码、双跳实体编码、加权合并和解码。本发明引入图编码和图注意力机制进行双跳实体编码，基于相邻实体之间的关系，更好地捕捉对话中的实体语义；同时结合知识图谱围绕对话涉及的概念知识，从而给出更合理的富有信息量的回复，解决当前对话过程中话题概念飘移和扩展的问题。

技术领域

本发明涉及计算机技术领域，特别涉及一种融合知识的对话生成方法。

背景技术

随着语言模型和自然语言生成技术的发展，基于数据驱动的端到端对话生成技术成了可能。而端到端生成的对话常常会产生一些毫无意义、无用和脱离话题的回复，例如产生一些安全回答：“我还不清楚”，以及话题概念飘移和扩展的现象，给对话带来了不好的体验。由于语言的理解与表达和知识是密切联系的，对于此类问题，通常的做法是在模型的输入中添加外部知识信息。现有的做法是将外部知识文本直接嵌入到向量空间中，获得外部知识的词向量表示后输入对话模型中。然而，这种简单粗暴的处理方式并不能很好地解决对话系统所面对的问题。因此，如何围绕知识、概念产生对话，是开发高质量对话系统、提高对话有效性的关键环节。

发明内容

为解决上述问题，本发明提供了一种融合知识的对话生成方法。

本发明采用以下技术方案：

一种融合知识的对话生成方法，包括如下步骤：

S1、构建知识图谱；

S2、构建对话模型，所述对话模型由编码器和解码器组成，具体为步骤为：

S21、词编码：所述词编码是利用google开源的Bert模型提取对话的词向量表示，即词编码X_Bert；

S22、知识编码：所述知识编码是利用TransE算法获取实体的知识向量表示，即知识编码X_transe；

S23、双跳实体编码：所述双跳实体编码是使用GAT图注意力机制对双跳实体进行编码，得到双跳实体编码X_2hop；

S24、加权合并：将得到的所述词编码X_Bert、所述知识编码X_transe和所述双跳实体编码X_2hop的结果加权相加后，经过一层前馈神经网络后作为解码器的输入；

S25、解码：所述解码器的主体架构采用循环神经网络RNN，并在除首个RNN神经元以外的每个RNN神经元上都加入上一个词的图嵌入X_transe_decoder，即单跳词编码，将X_transe_decoder和RNN的隐变量h_i相加后输入到下一个神经元中进行处理。

进一步地，所述双跳实体编码是对于节点A_i，逐个计算它的相邻节点集合N(A_i)＝{B₁,B₂,B₃,…B_n}的单跳实体编码后，在通过同样的方法迭代计算A_i的实体编码，具体步骤如下：

S231、计算B₁与周围实体N(B₁)＝{C₁₁,C₁₂,…C_1n}的注意力系数α_j：

其中，h_B1和h_j表示节点B₁和节点j的词表示即TransE知识编码，W为共享的可学习参数，将(Wh_B1||Wh_j)的结果映射到一个实数e_b1j上，计算出相似系数后，利用softmax公式得到各个节点的加权系数，即注意力系数α_j；