[发明专利]一种多轮任务式对话状态追踪方法

说明书

本发明公开了一种多轮任务式对话状态追踪方法，其特点是采用对历史对话记录进行编码，利用注意力机制为各个槽分别抽取关键信息，并根据槽之间的相似度和关联性，对关键信息进行共享与重组，生成更为精确的对话状态。本发明与现有技术相比具有多轮式对话状态追踪便于实现，成本低廉并且能够在不同的数据领域之间进行很好的迁移，能够有效从多轮长对话历史中为各个槽提取出最有价值的信息，并缓解数据不足对追踪效果的影响，有效提高对话追踪模块在订餐、旅游安排等多个任务上的追踪效果，从而有效提高智能对话系统的最终性能，具有广泛的实用意义。

技术领域

本发明涉及任务式对话系统技术领域，具体的说是一种基于槽注意力机制和信息共享技术的来优化多轮对话中用户状态的追踪方法。

背景技术

目前，人工智能技术迅猛发展，出现了很多图像和文本的实际应用。作为自然语言领域的一大重要分支，任务式对话系统正日益获得学术界和产业界的重视。任务式对话系统是指通过与用户多个回合的自然语言交互，来帮助用户完成某项任务的系统。这些任务可以是餐馆预定、旅游安排、天气预报或者是多个子任务组合而成的复合任务。基于这些新技术，各大科技公司均推出了自己的智能对话助手，比如苹果公司的Siri、亚马逊公司的Alexa。这些智能助手大大提高了人们工作和日常生活的效率。此外，任务式对话系统也被广泛应用于智能客服领域，它不仅节省了企业在客服方面投入的人力成本，还能有效改善企业整体营运的规范性与效率。

一个典型的对话系统一般都由自然语言理解(NLU)模块、对话状态追踪(DST)模块、行为策略管理(APM)模块和对话生成(NLG)模块组成。作为其中的一个核心模块，对话状态追踪模块负责在多轮对话中获取和更新用户的对话状态，它的效果影响着整个系统的最终结果。在DST任务中，对话状态指的是槽值对的组合。而槽值对可以理解为用户对需求的限制。例如，“restaurant-food:Chinese”中，“restaurant-food”就是一个槽，“Chinese”就是这个槽的值。而多个槽值对，如“restaurant-food:Chinese”,“restaurant-pricerange:expensive”，可以被视为一个对话状态。过去，对话状态追踪任务需要提前预定义好本体信息。这些本体信息记录有所有可选的对话槽和它们所有可能的值。这使得该任务过去一直被视为一种分类任务，并涌现了很多相关模型。但随着对话系统在实际生活中的应用，人们渐渐发现预定义任务本体经常是个成本浩大，有时甚至不可能的行为。因此，为了摆脱预定义本体，人们基于sequence-to-sequence结构，提出了生成式的对话状态追踪模型。虽然生成式方法取得了较好的追踪效果，但它仍然不能很好地从原始对话文本中抽取关键信息。例如，一个用户可能告诉系统他/她需要叫一辆出租车，但是这个出租车的出发地(通常也即用户当前位置)却只是在好几个回合前被隐式提及。这之间回合的信息会干扰系统的判断，从而导致模型生成错误的对话状态。此外，对话历史记录往往包含着几个甚至十几个槽的值信息，一些不相干槽的信息也会进一步加大冗余信息对其他槽的干扰，对于结构复杂的多轮长对话来说，在其上进行状态追踪就更为困难。

此外，除了难以对多轮长对话进行追踪之外，现有技术也无法很好地应对OOV(outof vocabulary)问题。即对于现有的深度学习对话追踪技术来说，如果一个槽在训练集没有出现过或很少出现，那么模型通常难以学会这个槽的正确处理方法，以致无法很好地追踪对话状态。

发明内容

本发明的目的是针对现有技术的不足而设计的一种多轮任务式对话状态追踪方法，采用注意力机制和信息共享技术，共享相关联的且训练数据充足的槽的特征，来改善数据不足的槽上的追踪效果。首先对历史对话记录进行编码，然后从历史对话记录中利用注意力机制为各个槽分别抽取关键信息，接着根据槽之间的相似度和关联性，对关键信息进行共享与重组，最后基于上述步骤处理后的信息，生成更为精确的对话状态。槽注意力机制可以独立地为每个槽从多轮长对话中提取出最有价值的特征，并避免不相干槽的冗余信息对目标槽的干扰，从而使得后续模块能生成更加准确的对话状态；而通过加强关联槽的信息共享，可以改善模型在数据不足的槽上的追踪效果。