[发明专利]一种用于对话生成的混合神经网络模型的构建方法

权利要求书

1.一种用于对话生成的混合神经网络模型的构建方法，包括以下步骤：

(1)根据语句对组成的数据集，拆分语句对生成发起语句集和应答语句集，通过分词获得发起语句集以及应答语句集中每条语句的词汇，统计词汇频度，根据词汇频度构建词汇表；

(2)根据步骤(1)中构建的词汇表，将数据集、发起语句集和应答语句集使用词汇的数字标识表示；

(3)根据步骤(2)中数据集的数字标识表示，经Skip-Gram模型计算得到每个数字标识的词嵌入表示，并分别对应数字标识表示的词汇，生成词嵌入表；

(4)根据特定的卷积神经网络模型参数，初始化构建一个卷积神经网络判别器，用于判别给定语句的词汇数字标识列表作为输入后词汇表中的词汇是否出现；

(5)使用步骤(1)中的发起语句集、应答语句集和词汇表以及步骤(3)中的词嵌入表，生成以词嵌入表示的发起语句集以及对应应答语句集的词汇数字标识列表，作为步骤(4)中构建的卷积神经网络判别器的输入，训练步骤(4)中的卷积神经网络的网络参数，直到误差小于设定的阈值或训练次数多于设定的阈值；

(6)使用经过步骤(5)训练后的卷积神经网络判别器，输入步骤(1)中的发起语句集中的每条语句，生成对应的推荐词汇数字标识列表；

(7)根据特定的循环神经网络模型参数，初始化构建一个循环神经网络生成器，用于给定语句的词汇数字标识列表和对应的推荐词汇数字标识列表作为输入后，循环地生成推荐词汇数字标识列表中的词汇数字标识，并按输出次序形成词汇数字标识序列作为输出；

(8)使用步骤(1)中的发起语句集和词汇表以及步骤(6)生成的推荐数字标识列表，生成步骤(7)中的循环神经网络的输入，根据步骤(1)中的应答语句集和词汇表生成步骤(7)中的循环神经网络的目标输出，根据输入和目标输出训练步骤(7)中的循环神经网络的网络参数，直到误差小于设定的阈值或训练次数多于设定的阈值；

(9)使用步骤(1)中的词汇表、步骤(3)中的词嵌入表、步骤(4)中的卷积神经网络和步骤(7)中的循环神经网络，对输入语句进行计算，生成具有顺序的词汇的数字标识序列，并根据步骤(1)中的词汇表，将词汇的数字标识序列翻译成对应的词汇序列并输出最终结果；

(10)步骤(9)中的结果满足设定的指标后，保存整个模型的所有参数；

所述步骤(9)中，对输入语句进行计算，生成具有顺序的词汇的数字标识序列包括以下步骤：

1)初始化Ns个已输出序列；

2)使用步骤(4)中的卷积神经网络生成输入语句的推荐词汇数字标识列表；

3)计算推荐词汇数字标识列表中每个词汇的频度Fi；

4)计算推荐词汇数字标识列表中每个词汇的特殊程度Si；

5)对Ns个已输出序列中的每个序列Nsi，使用步骤(7)中的循环神经网络计算推荐词汇数字标识列表中词汇的出现概率Pa；对每个推荐词汇数字标识列表中的词汇，计算出现概率Pa乘以频度Fi乘以特殊程度Si作为推荐程度；选择推荐程度最高的Nm个词汇，添加词汇的数字标识至序列Nsi末尾，生成Nm个序列；

6)在步骤5)生成的Ns*Nm个序列中，选取Ns个序列替换原Ns个已输出序列；

7)重复步骤3)到步骤6)，直到每个已输出序列的长度大于或等于固定句长Slen；

8)从Ns个已输出序列中选取一个序列作为生成结果；

所述步骤4)中计算推荐词汇数字标识列表中每个词汇的特殊程度Si是指：计算数据集的总语句数量D，计算推荐词汇数字标识列表中每个词汇在数据集中的出现次数Ai，特殊程度Si等于D除以Ai后取自然对数。

2.根据权利要求1所述一种用于对话生成的混合神经网络模型的构建方法，其特征在于：所述步骤(1)中，统计所有出现在语句对中的词汇数量，并且生成的词汇表是整个模型中所有子模块通用的。

3.根据权利要求1所述一种用于对话生成的混合神经网络模型的构建方法，其特征在于：所述步骤(3)中，生成的词嵌入表是整个模型中所有子模块通用的，步骤(4)中的卷积神经网络和步骤(7)中的循环神经网络使用相同的词嵌入表对语句的词汇数字标识列表进行处理。