[发明专利]一种基于辅助网络的智能对话生成方法

权利要求书

1.一种基于辅助网络的智能对话生成方法，其特征在于，包括以下步骤：

1)根据对话生成任务需求建立相应的对话语句数据集；

2)建立对话生成模型，采用对话语句数据集对对话生成模型进行预训练，基于seq2seq模型生成对话生成模型，所述的seq2seq模型采用编码器-译码器架构，所述的对话生成模型采用循环神经网络构建编码器和译码器处理输入语句(x₁,…x_t…,x_T)和生成输出语句(y₁,…y_t…,y_T′)，则有：

h_t＝sigm(W^hxx_t+W^hhh_t-1)

y_t＝W^yhh_t

其中，h_t为每一时间步t的隐藏层状态，W^hx为输入层参数矩阵，W^hh为隐藏层参数矩阵，W^yh为输出层参数矩阵，p(y₁,…,y_T′|x₁,…,x_T)为基于输入X的输出Y的条件概率；

3)建立辅助网络专家语料库以及辅助网络数据集；

4)建立辅助网络模型，采用辅助网络数据集进行预训练，所述的辅助网络模型采用多项逻辑斯谛回归进行多分类，所述的辅助网络模型起到分类器或过滤器的作用，用以将整个词表中的词语分为当前时刻可用和当前时刻不可用两种状态，则有：

p(x)＝f(x)

其中，x为辅助网络的输入，p表示辅助网络的输出概率，该输出概率为二分类结果或多分类结果；

5)采用训练后对话生成模型以及训练后辅助网络模型的预训练参数对基于辅助网络的智能对话生成模型进行参数初始化，再进行联合训练，或者直接进行联合训练，在训练过程中同时扩展辅助网络训练数据集，直至对话生成模型和辅助网络模型均收敛；

6)根据训练后的基于辅助网络的智能对话生成模型结合辅助网络专家语料库进行判定，将概率最高的词语作为当前时刻的最终输出词语。

2.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤3)中，建立辅助网络数据集包括以下两种方式：

采用训练后的对话生成模型获取译码器的隐藏层状态、上一时刻的输出词语以及当前时刻的ground_truth词语或当前时刻的非ground_truth词语或当前时刻的生成词语作为特征形成正负样本，最终构成辅助网络数据集；

采用训练好的对话生成模型获取译码器的隐藏层状态和上一时刻的输出词语作为特征形成词表大小的多分类样本，最终构成辅助网络数据集。

3.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤6)中，当根据具体对话任务需求或有其它辅助网络训练数据集的来源则可不进行对话生成模型的预训练，并且，对于辅助网络模型，当有其它对话规则来源或依据具体对话任务需求也可不进行预训练，对话生成模型和辅助网络模型在联合训练过程中采用交替训练方式，直至对话生成模型和辅助网络模型均收敛。

4.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，根据人类专家经验构建一系列经验规则作为辅助网络专家语料库，并采用相同方式进行扩展。

5.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤6)具体为：

将对话生成模型的译码器在当前时刻的隐藏层状态和上一时刻的生成词语作为辅助网络模型的输入，根据辅助网络模型的输出区分出当前时刻可用的词语和当前时刻不可用的词语，最终将在辅助网络模型判定的当前时刻可用的词语中，结合辅助网络专家语料库选择对话生成模型生成的概率最高的词语作为当前时刻的最终输出词语。