[发明专利]基于上下文的对话生成方法及系统

权利要求书

1.基于上下文的对话生成方法，其特征是，包括：

获取当前对话语句、当前对话的上文语句和当前对话的下文语句；

将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句；具体步骤包括：

将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器的编码器中，编码器对当前对话语句、当前对话的上文语句和当前对话的下文语句分别进行特征提取，编码器对提取的特征进行编码处理得到编码结果；编解码器的解码器对编码结果进行解码处理，得到当前对话语句的预测对话语句；

所述编码器，包括：

第一递归神经网络GRU、第二递归神经网络GRU、第三递归神经网络GRU、第一隐藏层、第二隐藏层、第三隐藏层和特征融合层；

第一递归神经网络GRU，用于对当前对话的上文语句进行特征向量提取得到上文语句特征向量；上文语句特征向量输入到第一隐藏层进行处理，第一隐藏层输出第一特征向量；第一隐藏层将处理后的结果输入到第二隐藏层，作为第二隐藏层的输入值；

第二递归神经网络GRU，用于对当前对话的下文语句进行特征向量提取得到下文语句特征向量；下文语句特征向量和第一隐藏层将处理后的结果，均输入到第二隐藏层中进行处理，第二隐藏层输出第二特征向量；第二隐藏层将处理后的结果输入到第三隐藏层，作为第三隐藏层的输入值；

第三递归神经网络GRU，用于对当前对话语句进行特征向量提取得到当前对话语句特征向量；当前对话语句特征向量和第二隐藏层将处理后的结果，均输入到第三隐藏层中，第三隐藏层输出第三特征向量；

将第一特征向量、第二特征向量和第三特征向量输入到特征融合层中进行加权融合，输出融合后的特征，融合后的特征作为编码器的输出值，送入解码器中，解码器通过解码处理输出得到当前对话语句的预测对话语句；

所述加权融合中，权重的获取步骤为：

计算第一特征向量与第三特征向量之间的第一互信息；基于第一互信息，并依照注意力机制应用softmax函数执行平滑归一化，计算出第一特征向量的权重；

计算第二特征向量与第三特征向量之间的第二互信息；基于第二互信息，并依照注意力机制应用softmax函数，计算出第二特征向量的权重；

将第二特征向量与第三特征向量之间的第二互信息，输入注意力机制原则下的softmax函数，计算出第三特征向量的权重。

2.如权利要求1所述的方法，其特征是，所述融合，包括拼接融合或/和加和融合。

3.如权利要求1所述的方法，其特征是，所述预先训练好的编解码器，训练步骤包括：

构建彼此连接的编码器和解码器；

构建训练集，所述训练集包括已知当前对话，已知当前对话的下一句对话，已知当前对话的上文语句和已知当前对话的下文语句；

将已知当前对话、已知当前对话的上文语句和已知当前对话的下文语句，均输入到编码中，将已知当前对话的下一句对话作为解码器的输出值；对编码器和解码器进行训练，得到训练好的编解码器。