[发明专利]一种用于对话生成的混合神经网络模型的构建方法

摘要

本发明公开了一种用于对话生成的混合神经网络模型的构建方法，包括以下步骤：获取形式为对话语句对的数据集并构建词汇表；生成词嵌入表；初始化特定结构的卷积神经网络，生成对应输入语句的词汇推荐表，判断是否提供了真实输出，若有提供则训练本步中的卷积神经网络的参数；初始化特定结构的循环神经网络，使用上步输出，生成具有语序的词汇标识列表，判断是否提供了真实输出，若有提供则训练本步中的循环神经网络的参数；训练结果满足设定指标后，保存词汇表和词嵌入表，保存卷积神经网络和循环神经网络的参数，即为构建整个模型完毕。本发明解决现有的神经网络对话模型因词汇表长度过大导致的训练速度慢、准确率低、生成语句一般化等问题。

主权项

一种用于对话生成的混合神经网络模型的构建方法，包括以下步骤：(1)根据语句对组成的数据集，拆分语句对生成发起语句集和应答语句集，通过分词获得发起语句集以及应答语句集中每条语句的词汇，统计词汇频度，根据词汇频度构建词汇表；(2)根据步骤(1)中构建的词汇表，将数据集、发起语句集和应答语句集使用词汇的数字标识表示；(3)根据步骤(2)中数据集的数字标识表示，经Skip‑Gram模型计算得到每个数字标识的词嵌入表示，并分别对应数字标识表示的词汇，生成词嵌入表；(4)根据特定的卷积神经网络模型参数，初始化构建一个卷积神经网络判别器，用于判别给定语句的词汇数字标识列表作为输入后词汇表中的词汇是否出现；(5)使用步骤(1)中的发起语句集、应答语句集和词汇表以及步骤(3)中的词嵌入表，生成以词嵌入表示的发起语句集以及对应应答语句集的词汇数字标识列表，作为步骤(4)中构建的卷积神经网络判别器的输入，训练步骤(4)中的卷积神经网络的网络参数，直到误差小于设定的阈值或训练次数多于设定的阈值；(6)使用经过步骤(5)训练后的卷积神经网络判别器，输入步骤(1)中的发起语句集中的每条语句，生成对应的推荐词汇数字标识列表；(7)根据特定的循环神经网络模型参数，初始化构建一个循环神经网络生成器，用于给定语句的词汇数字标识列表和对应的推荐词汇数字标识列表作为输入后，循环地生成推荐词汇数字标识列表中的词汇数字标识，并按输出次序形成词汇数字标识序列作为输出；(8)使用步骤(1)中的发起语句集和词汇表以及步骤(6)生成的推荐数字标识列表，生成步骤(7)中的循环神经网络的输入，根据步骤(1)中的应答语句集和词汇表生成步骤(7)中的循环神经网络的目标输出，根据输入和目标输出训练步骤(7)中的循环神经网络的网络参数，直到误差小于设定的阈值或训练次数多于设定的阈值；(9)使用步骤(1)中的词汇表、步骤(3)中的词嵌入表、步骤(4)中的卷积神经网络和步骤(7)中的循环神经网络，对输入语句进行计算，生成具有顺序的词汇的数字标识序列，并根据步骤(1)中的词汇表，将词汇的数字标识序列翻译成对应的词汇序列并输出最终结果；(10)步骤(9)中的结果满足设定的指标后，保存整个模型的所有参数。