[发明专利]一种基于语句改写的面向端到端对话的数据增强方法

权利要求书

1.一种基于语句改写的面向端到端对话的数据增强方法，其特征在于包括以下步骤：

1)模型训练

101)搜索原始对话文本并考察所有用户语句的对话功能，为每一个用户语句匹配一个参考改写语句；

102)将用户语句输入语句改写模型，并对其进行预处理，包括分词、正规化操作；

103)对输入的用户语句以及前一轮系统回复进行编码，得到语句的向量表示；

104)根据上一步编码结果解码前一轮系统对话动作；

105)根据步骤(103)编码结果和前一轮系统对话动作，解码改写后的用户语句；

106)检查改写后的用户语句，筛选出改动较大但含义不变的语句，用以替换原对话文本中的用户语句，生成新的对话文本，并将其并入原对话文本，得到扩充的训练数据，得到对话生成模型；

2)当用户提出请求时，将用户语句输入语句改写模型，并对其进行预处理；

3)对输入的用户语句以及前一轮系统回复进行编码，得到语句的向量表示；

4)根据上一步编码结果解码前一轮系统对话动作；

5)根据步骤3)编码结果和前一轮系统对话动作，解码改写后的用户语句；

6)将用户语句输入对话生成模型，并将其连同前一轮系统回复和前一轮对话状态重新进行编码，获得向量表示；

7)根据上一步编码结果和步骤5)语句改写的解码结果，进行对话状态解码，解码过程中依次输出识别到的对话领域、属性槽和属性值；

8)根据对话状态，在数据库中查询符合要求的实体；

9)判断模型类别；当模型为DAMD时，根据对话状态解码结果和数据库查询结果进行系统对话动作的解码，当模型为TSCP时，则直接跳至下一步；

10)根据之前所有的编解码和查询结果，生成系统的自然语言回复；

11)对生成的回复进行后处理，后处理包括单词合并、添加标点，得到呈现给用户的自然语言，并回复。

2.根据权利要求1所述的一种基于语句改写的面向端到端对话的数据增强方法，其特征在于：在步骤1)中，联合训练一个语句改写模型和一个对话生成模型；两模型都采用基于序列到序列(seq2seq)的框架，由一个对话上下文编码器(encoder)和多个串联的解码器(decoder)组成；语句改写模型包含系统对话动作解码器和改写语句解码器；对话生成模型则有两种，TSCP模型包含对话状态解码器和自然语言回复解码器，DAMD模型则在TSCP模型的两解码器之间又加入了一个系统对话动作解码器。

3.根据权利要求2所述的一种基于语句改写的面向端到端对话的数据增强方法，其特征在于：在步骤102)及步骤2)中，对输入的用户语句进行分词，再将其送入语句改写模型的上下文编码器。

4.根据权利要求3所述的一种基于语句改写的面向端到端对话的数据增强方法，其特征在于：在步骤103)及步骤3)中，将前一轮系统回复和输入的用户语句串联为自然语言单词序列，并使用一个层数为1、隐层神经元数量为50或100的双向GRU模型作为编码器，将该单词序列编码为等长的向量序列，称为隐状态；编码过程实现了在隐状态空间融合并理解对话中包含的语义信息；该编码器的输出结果将依次送到语句改写模型的两个解码器，用于后续模型输出的解码。

5.根据权利要求4所述的一种基于语句改写的面向端到端对话的数据增强方法，其特征在于：在步骤104)及步骤4)中，语句改写模型通过系统对话动作解码器(ActionDecoder)进行前一轮系统对话动作A_t-1的解码；对话动作使用自然语言序列加以表示；且认为前一轮系统对话动作与前一轮系统回复R_t-1直接相关，并且用当前轮次用户语句U_t进行反向推演，基于此两者的编码结果解码出前一轮系统对话动作：

A_t-1＝seq2seq(R_t-1，U_t)。