[发明专利]一种对话生成系统及对话实现方法

权利要求书

1.一种对话生成系统，其特征在于，包括：数据集预处理单元、双编码层单元及解码层单元，其中，

数据集预处理单元，用于对包含对话目标、相关知识信息及对话序列的数据集分别针对字符级的编码层及针对词语级的编码层进行重构，输出给双编码层单元；

双编码层单元，包括字符级的编码层及词语级的编码层，所述字符级的编码层对接收的经过重构的字符级的数据集进行编码，词语级的编码层对接收的经过重构的词语级的数据集进行编码后，将经过编码后的字符级的数据集和词语级的数据集联合后，输入给解码层单元；

解码层单元，用于接收联合后的数据集，进行解码，得到目的、知识以及历史对话信息，生成相应回复；

所述数据集预处理单元，还用于对包含对话目标、相关知识信息及对话序列的数据集分别针对字符级的编码层及针对词语级的编码层进行重构为：

将数据集包含的对话目标、相关知识信息及对话序列分别进行知识转化，以三元组主谓宾SPO表示；

将其中的对话目标替换为目标标记字符分别拼接在从对话目标得到的共性知识左右；对于词语级的编码层将相关知识信息中的宾语替换为知识替代字符，对于字符级的编码层将相关知识信息中的宾语不做处理，将主语采用设置的位置信息标识，对相关知识信息进行扩展、拆分为单元知识及抽取规则知识；

将繁体中文转化为简体中文。

2.如权利要求1所述的系统，其特征在于，所述双编码层单元采用Transformer模型的神经网络，所述字符级的编码层使用BERT中文模型进行初始化，包含12层Transformer模块；所述词语级的编码层采用随机初始化，包含6层Transformer模块；

所述解码层单元采用Transformer模型的神经网络，采用随机初始化，包含6层Transformer模块。

3.如权利要求1所述的系统，其特征在于，所述解码层单元，还用于在得到目的、知识及历史对话信息，生成相应回复之前，进行预测优化，所述预测优化采用波束搜索。

4.一种对话实现方法，其特征在于，该方法包括：

对包含对话目标、相关知识信息及对话序列的数据集分别针对字符级的编码层及针对词语级的编码层进行重构；

对经过重构的字符级的数据集进行编码，对经过重构的词语级的数据集进行编码后，将经过编码后的字符级的数据集和词语级的数据集进行联合；

对联合后的经过编码后的字符级的数据集和词语级的数据集，进行解码，得到目的、知识以及历史对话信息，并生成相应回复；

所述数据集分别针对字符级的编码层及针对词语级的编码层进行重构为：

将数据集包含的对话目标、相关知识信息及对话序列分别进行知识转化，以三元组主谓宾SPO表示；

将其中的对话目标替换为目标标记字符分别拼接在从对话目标得到的共性知识左右；对于词语级的编码层将相关知识信息中的宾语替换为知识替代字符，对于字符级的编码层将相关知识信息中的宾语不做处理，将主语采用设置的位置信息标识，对相关知识信息进行扩展、拆分为单元知识及抽取规则知识；

将繁体中文转化为简体中文。

5.如权利要求4所述的方法，其特征在于，所述对经过重构的字符级的数据集进行编码采用Transformer模型的神经网络，使用BERT中文模型进行初始化，包含12层Transformer模块；

所述对经过重构的词语级的数据集进行编码采用Transformer模型的神经网络，采用随机初始化，包含6层Transformer模块。

6.如权利要求4所述的方法，其特征在于，

所述解码采用Transformer模型的神经网络，采用随机初始化，包含6层Transformer模块，在每个Transformer模块中的self-attention后外接一层vanilla attention。

7.如权利要求4所述的方法，其特征在于，在得到目的、知识以及历史对话信息，生成相应回复之前，进行预测优化，所述预测优化采用波束搜索。

8.如权利要求4所述的方法，其特征在于，在得到目的、知识以及历史对话信息，生成相应回复之后，该方法还包括：

进行输出后处理，去掉重复片段及对没有标点符号的句子做补全。