[发明专利]一种基于回复增强的隐式个性化对话生成方法

说明书

本发明通过人工智能领域的方法，实现了一种基于回复增强的隐式个性化对话生成方法。给定用户的历史回复，从训练数据中检索相关回复作为候选集；然后根据回复层次人设一致性判别器，和上下文层次人设一致性判别器，计算人设相似性得分，选取得分较高的回复，作为该用户的个性化相似回复；之后基于多任务学习的框架，通过两个编码器‑解码器模型，分别利用真实数据和增强的个性化相似数据，使得模型可以更充分地学到该用户的人设信息和个性化表达方式。此外，本发明还提出了一种评价方法，可以在句子层面自动评价生成结果和用户的人设一致性情况。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于回复增强的隐式个性化对话生成方法。

背景技术

目前，对话系统取得了越来越多的关注和应用。基于所采用的方法，对话系统可以分为检索式、生成式和混合式对话系统。其中，生成式对话系统可以生成适当的新回复，具有更高的灵活性，受到了广泛研究。但是，生成式对话系统存在人设不一致性的问题。这也就是说，当谈论到和人设相关的话题时，对话系统的回复往往是不一致甚至矛盾的。比如对于“你多大啦？”，聊天机器人的回复可能是“我今年18岁。”；而对于“你今年18岁吗？”，聊天机器人的回复则可能是“不，我今年20岁。”，在年龄的人设上出现了不一致的问题。人设不一致的问题，对于对话系统的模型表现和用户体验，都造成了负面影响。

为了维持对话生成模型的人设一致性，很多方法引入显式或隐式的人设信息。其中，显式的人设信息，包括人设描述和人设属性信息。所谓人设描述，是指通过若干句话，对用户的个性进行描述，比如“我喜欢足球”、“我的职业是守门员”等等。在显式个性化对话生成中，很多现有方法首先将这些描述人设的句子进行编码，然后选择相关的人设信息，基于该信息来辅助回复生成。还有一些方法基于预训练模型，然后在个性化对话数据集上做精炼。此外，所谓人设属性信息，是指用户的年龄、所在地、爱好、职业等个性化属性信息。很多现有方法是将属性信息进行编码，加入到回复生成的解码过程中。还有一些方法通过规则，或者深度学习的方法，致力于在对话数据中抽取和用户人设相关的属性信息。

与之相对，隐式人设信息，则是将用户的历史回复数据看作用户的人设信息来源。用户的历史回复反映了用户的人设信息。通过用户历史回复，我们可以推断出用户多方面的个性化信息。在隐式个性化对话生成中，现有主要方法是引入用户向量来表示用户的个性化信息，将用户向量加入到回复生成的计算过程中，使得生成的回复能够体现用户的个性化信息。此外，还有一些方法将隐式个性化对话生成看作是域适应问题。首先在通用对话语料上来训练对话生成模型，然后在用户个性化的对话语料上来精炼模型，得到用户专属的对话生成模型。为了增强个性化对话生成模型的表现，有些方法引入了元学习框架，增强模型参数的域适应能力；还有些方法引入用户的非对话数据，来增大用户的个性化数据的训练数据量。

对于显式的人设信息来说，无论是人设描述还是人设属性信息，相关数据集的收集和构建都昂贵而困难。尤其是在日常对话中，真实的人设信息很难获取，这给数据集的构建带来了挑战。此外，显式的人设信息只能反映有限的个性化信息。比如，说话方式就很难通过显式的人设进行定义。而且，显式的人设信息通常是固定的，忽略了人设信息的更新。

相比于显式的人设信息，用户的历史回复数据更加容易获取。而且用户的历史回复数据具有更多的信息量。然而，个性化的信息是隐藏在用户历史回复中的，不像显式人设那样可以直接表示。此外，用户的历史信息还具有稀疏性，好多用户可能并没有足够的历史回复数量来支持模型训练。无论是用户向量还是域适应的学习，都需要大量的数据支撑，否则模型的个性化提升较为有限。

此外，对于个性化对话生成来说，人设一致性的评价仍待解决。现有的评价方式大多采用人工评价。客观评价指标，大多从词级别出发，评价生成结果和用户真实数据，在用词偏好方面的相似度。如何在句子级别上评价个性化对话生成结果的人设一致性情况，仍然是值得探究的问题。

发明内容