[发明专利]端到端层次解码任务型对话系统

说明书

本发明公开了端到端层次解码任务型对话系统，包括：句子编码器模块，用于将第l轮用户输入的自然语言句子u^l通过双向循环神经网络编码输出为固定长度的向量对话历史编码器模块，用于将对话历史通过单向循环神经网络编码为s_l：用户意图引入模块，用于输入对话历史和当前用户句子的embedding，通过采样得到用户的意图表示数据库检索模块，用于输入由用户输入的自然语言句子提取的槽，在数据库中做检索，返回一个变量d_l，表示数据库中是否存在满足需求的数据；解码输出模块，用于输入对话历史s_l、用户句子的embedding数据库返回变量d_l以及用户意图隐变量z_l，输出自然语言句子作为系统对用户输入的回复：

技术领域

本发明涉及一种端到端层次解码任务型对话系统。

背景技术

目前的任务型对话系统主要基于有限状态机和统计对话模型，主要有两种模型：

第一种是基于slot-filling的有限状态机模型。该模型基于slot-filling以及手工设计的对话状态，将slot填充的状态作为对话状态的表示，根据业务逻辑，人工设计对话状态以及状态跳转的规则。该方法依赖槽提取的准确性，且对话流程依赖人工设计，需要设计复杂的规则支持复杂的对话策略，以及回复的模板，难以适用于不同领域。

第二种是基于统计模型的对话系统，该系统由Steveyoung提出，包括四个主要模块：自然语言理解、对话状态追踪、对话策略、自然语言回复生成。由于是pipeline的结构，某个模块产生的错误会极大地影响后续模块，造成错误的传播和放大。另外，自然语言理解和对话状态追踪模块需要大量的人工标注数据训练相应的神经网络分类器，难以在冷启动或者数据量较少的情况下使用。

发明内容

本发明的主要目的是本发明提出一种端到端层次解码任务型对话系统，能够实现端到端的对话，减少繁琐的人工规则，通过引入用户意图隐变量，使模型能够在无监督、半监督、强化学习的框架下训练，支持冷启动、少量标注数据和在线更新等场景。

为实现上述目的，本发明提出的一种端到端层次解码任务型对话系统，包括：

句子编码器模块，将第l轮输入的自然语言句子u^l(由T个词构成{w₁,w₂,…,w_T})通过双向循环神经网络(BiLSTM)编码输出为固定长度的向量

对话历史编码器模块，用于将对话历史通过单向循环神经网络编码为s_l:

用户意图引入模块，用于输入对话历史和当前用户句子的embedding，通过采样得到用户的意图表示

数据库检索模块，用于输入由用户输入的自然语言句子提取的槽，在数据库中做检索，返回一个变量d_l，表示数据库中是否存在满足需求的数据；

解码输出模块，模块输入对话历史s_l、用户句子的数据库的返回变量d_l以及用户意图隐变量z_l，输出自然语言句子作为系统对用户输入的回复：