[发明专利]一种融合显式和隐式个性化信息的对话生成方法

说明书

本发明公开了一种融合显式和隐式个性化信息的对话生成方法，包括如下步骤：1)构建显式个性化信息提取器，利用transformer中的编码器作为上下文编码器对上下文进行编码，再利用个性化‑上下文注意力机制对给定的个性化信息进行编码得到与上下文相关的个性化信息；2)构建隐式个性化信息生成器，利用vMF分布进行抽象和采样得到隐式个性化信息；3)构建个性化信息生成器，利用隐式个性化信息进行生成，用给定的个性化信息对其进行监督，保证隐式个性化信息与上下文和显式个性化信息是相关的；4)构建回复生成器，将上述提到的显式个性化信息，隐式个性化信息以及上下文作为解码器的输入，最终得到对应的回复。提高回复中个性化的一致性，提升回复的多样性。

技术领域

本发明涉及自然语言处理以及对话系统技术领域，具体为一种融合显式和隐式个性化信息的对话生成方法。

背景技术

人工智能技术在近些年得到长足的发展，许多人工智能产品的出现，给人们的生活带来了极大的便利。智能对话系统也开始渗透到了人们的生活当中，智能客服，Siri、Cortana和Google Now等产品的出现能够帮助用户完成各种任务。这样的对话系统属于任务型对话系统，它的主要目标是在有限的对话轮次内解决某些问题，但是这样的对话系统主要适合于完成特定的任务，对于新的任务很难适应。

因此，开放域的对话系统^[1]开始引起了诸多研究学者的注意。开放域对话系统主要用于在广泛的聊天主题下与人类完成自然而又一致的交流沟通。开放域的对话系统主要分为基于检索的方法和基于生成的方法：

(1)基于检索的方法主要是在给定上下文的前提下，从候选回复中选出与上下文最相关的回复；该方法能够得到符合语法的，较为规范的回复，但是该方法只能选择给定候选回复中的内容，得到的回复往往是较为单一的，很难生成灵活且多样的回复；

(2)基于生成的方法，主要依靠给定的上下文信息，通过解码器生成与之相关的回复，其主要的框架有Seq2Seq模型^[2]，基于神经变分编码器的生成模型^[3]，transformer^[4]模型，GPT2^[5]预训练语言模型等等。该类方法生成的回复往往是较为灵活多样的。

以上方法主要考虑了回复的多样性，但是很少考虑回复与说话人个性化信息的一致性。个性化信息分为显式个性化信息和隐式个性化信息，显式个性化信息是指给定的一些与说话人相关的描述信息，隐式个性化信息是指从上下文和显式个性化信息中推理出来的与其相关的信息。

现有的方法，没有考虑如何将这两种信息有效地结合起来去提升回复的一致性和多样性。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种融合显式和隐式个性化信息的对话生成方法。该方法利用显式个性化信息提取器，隐式个性化信息推理器，个性化信息生成器和回复生成器，最终生成融合显式和隐式个性化信息的回复，其生成结果相较于现有模型在Distinct-1，BLEU-1，BLEU-2，F1指标上取得了较好的结果。

本发明的目的是通过以下技术方案实现的：一种融合显式和隐式个性化信息的对话生成方法，包括以下步骤：

(1)构建显式个性化信息提取器：

显式个性化信息提取器用于提取训练语料的每段对话中和上下文相关的显式个性化信息O_cp；它针对每段对话上下文和给定的显式个性化信息，通过注意力机制，得到与上下文相关的显式个性化信息O_cp；

(2)构建隐式个性化信息推理器：

隐式个性化信息推理器用于推理与上下文和显式个性化信息相关的隐式个性化信息p_imp；它将提取出来的显式个性化信息O_cp和上下文表示作为推理器的输入，并通过vMF分布，进行采样操作，得到隐式个性化信息p_imp；