[发明专利]一种基于图表征增强的开放域对话系统评估方法

说明书

本发明公开了一种基于图表征增强的开放域对话系统评估方法，包括步骤如下：获取对话的上下文c＝{c₁,…,c_m}和对话的回复r＝{r₁,…,r_n}；采用BERT编码上下文c和回复r，取BERT池化层的输出特征作为句子级别的上下文表征v_c；基于上下文c和回复r对当前对话构建主题级别的对话图G；根据从常识图ConceptNet获取的线索确认对话图G中的节点和边，并通过聚合、融合这两个步骤进行图推理，生成一个主题级别的对话图表征v_g；将上下文表征v_c和对话图表征v_g进行拼接，输入到多层感知器，将一个高维表征转化为一个分数值。本发明将对话图表征与上下文表征结合，能更好的理解上下文和回复之间的话题的一致性，能捕捉更准确的语义切换信息，因此在进行对话连贯性评估时，可以更像人一点。

技术领域

本发明涉及自然语言处理技术领域，更具体的，涉及一种基于图表征增强的开放域对话系统评估方法。

背景技术

连贯性，指的是让对话句子更加的一致，而不是由一些随机的句子堆叠起来的，是开放域对话系统实现和人类无障碍交谈的关键属性。虽然开放域对话系统已经有了很大的进步，也越来越具备人类的说话技巧了。最近几年，先进开放域对话系统的自动化一致性评估一直是一个值得深入研究的问题，由于开放域对话话题的宽泛性、对话的复杂性使得它的评估过程极具挑战。

现有的技术采用基于统计的自动化评估方法，比如BLEU，其计算主要是依赖于对话的回复和其真实回复的词语重叠度。然而，由于忽略了对话回复的语义，这类指标往往存在偏差，其在对话一致性上的评估结果和人类评估结果的相关度是比较弱。如中国专利公开号：CN109522545A，公开日：2019.03.26，公开了一种对多轮对话连贯性质量的评估方法，具体公开了一种对多轮对话连贯性质量的评估方法，其特点是以多轮对话文本为输入，采用分层注意力机制，分别在单个话语层面和多轮对话的整体层面，融合对话的语义信息和意图信息，实现多轮对话连贯性质量的自动评估。

为了解决这些问题，一些基于学习的指标被提出来。这些指标往往只考虑句子级别的语义，通过训练一个一致性打分的网络，结合上下文和回复的语义关联性，给出当前对话的一致性分数。常见的这类指标有：ADEM、RUBER和BERT- RUBER。然而，真实世界一段连贯的对话不应该只是在句子内部语义上的连贯，同时需要确保主题切换的连贯性。如图1所示，一段连贯的对话中的主题在常识图中是非常接近的，很好的体现了主题切换的连贯性。虽然上面提到的指标在和人类判断的相关度上，都比基于统计的指标要好，但是他们仅仅在句子级别上确保了模型对话的连贯性，而没有考虑对话内部细粒度的主题转移的一致性。

发明内容

本发明为了解决现有评估对话连贯性的技术差，没有考虑主题转移一致性的问题，提供了一种基于图表征增强的开放域对话系统评估方法，其能捕捉更准确的语义切换信息，因此在进行对话连贯性评估时，可以更像人一点。

为实现上述本发明目的，采用的技术方案如下：一种基于图表征增强的开放域对话系统评估方法，所述的方法包括步骤如下：

S1：获取对话的上下文c＝{c₁，...，c_m}和对话的回复r＝{r₁，...，r_n}，其中， c_k1表示上下文中的一个词，其中k1＝1、2、…、m，r_k2表示回复中的一个词， k2＝1、2、…、n；

S2：采用BERT编码上下文c和回复r，取BERT池化层的输出特征作为句子级别的上下文表征v_c，其中v_c＝BERT(c，r)；

S3：基于上下文c和回复r对当前对话构建主题级别的对话图，表示为G＝ (V，E)，其中，V表示主题节点的集合，E表示主题之间的边的集合；