[发明专利]一种基于长短时记忆信息的个性化对话生成方法和系统

说明书

本发明涉及一种基于长短时记忆信息的个性化对话生成方法和系统，包括以下步骤：将输入文本和用户对话历史的文本表示为句子向量；将输入文本进行编码获得感知记忆信息；在用户对话历史的文本中筛选出与输入文本最相似的历史作为当前输入下用户的长时记忆，将长时记忆进行编码得到长时记忆信息；将与输入文本时间上最为接近的用户对话历史进行编码得到用户的短时记忆信息；将感知记忆信息、长时记忆信息和短时记忆信息在每个生成时刻更新并与之前时刻的输出信息一同进行解码，从而生成具有用户个性的对话。其针对不同内容和不同时刻的输入区别对待对话历史，提供不同维度的记忆信息作为动态的隐式人设，生成结果更加符合真实对话场景。

技术领域

本发明涉及一种基于长短时记忆信息的个性化对话生成方法和系统，属于人工智能技术领域。

背景技术

伴随着由数据驱动的端到端对话系统的发展，个性化对话系统开始出现。闲聊型个性化对话系统，即是针对开放领域下输入给出合适回复的同时，输出的结果能具有人的角色信息。在应用中，无论是虚拟的社交机器人还是智能个人代理回复，都要求对话模型给出的回复具备人物角色信息，因此需要赋予模型人物设定(本文中简称为人设)来维持人物角色信息的统一。目前为个性化对话系统构建人设的方法主要分为显式人设和隐式人设两种。显式人设主要通过预先设定的属性关键词或句子描述等来作为模型个性化的人设信息，在模型输出结果时利用这些显式的文本信息来控制模型的生成或选择过程。相对地，隐式人设则没有任何显式定义的文本来作为角色信息，模型通过用户对话历史为每个用户构建隐式的个性向量，以此作为用户的人设加入到生成过程中，来维持输出结果的人设一致性。

显式人设的方法为了构建大规模与人设相关的训练数据，需要投入大量的人力资源，来模拟相关对话场景或者构造规则。而且，由于显式人设能够预先给出人设信息有限，如PERSONA-CHAT数据集中，仅用5句话作为人设信息，因此面对设定之外的输入，模型仍倾向于给出设定相关的回复，从而降低了回复质量。在实际应用中，面对新的人物或者新的属性设定均需要重复之前的步骤。因此，显式人设的方法只适用于固定且小规模的场景范围。对应地，隐式人设的方法则自动从对话历史中学习用户的角色信息，将用户个性化的角色信息转换为向量来表示用户的人设，通过隐式的个性向量来引导模型生成或选择个性化的回复。因此，隐式人设的方法避免了为每个用户配置人设的过程，可以在大规模的用户群体上构建用户特有的个性化对话模型，面对同样的输入根据不同用户的特点给出个性化回复，可作为用户的代理回复助手。隐式人设的方式虽然可以通过隐式的个性向量来学习用户对话历史中的人物性格和语言习惯等个性化特征。然而现有的研究工作大多从全局层面来构建用户个性向量，这样不加区别地使用用户历史，最终得到的静态个性向量包含了对话历史中用户所有的个性化特征，在面对不同的输入时，模型难以表达出用户具体某个方面的个性特征。Li等人(Li，Piji，et al.“Persona-Aware Tips Generation.”The WorldWide Web Conference.2019)利用用户历史为每个用户构建与个性化相关的关键词，在关键词生成的不同时刻，通过注意力机制将关键词加权求得表示用户个性的个性向量，而非通过模型训练得到用户个性向量。这在一定程度上使得隐式人设从静态的向量转变为动态的向量，可以在生成的不同阶段进行调整，然而该方法仅关注了显著的个性化关键词而忽略了用户个人语言习惯等细微的个性化特征。

发明内容

针对上述问题，本发明的目的是提供一种基于长短时记忆信息的个性化对话生成方法和系统，其通过模拟人的记忆类型提出了基于长、短时记忆信息的个性化对话生成模型，针对不同内容和不同时刻的输入区别对待对话历史，在解码过程中提供不同维度的记忆信息作为动态的隐式人设，使生成的结果更加符合真实多变的对话场景。