[发明专利]一种基于个性化开放领域的对话生成方法

权利要求书

1.一种基于个性化开放领域的对话生成方法，其特征在于，包括以下步骤：

步骤1：用户输入问句；

步骤2：在检索库中检索，获取用户输入的问句的向量表示，并计算用户输入的问句与检索库中问题的向量相似度；所述的获取用户输入的问句的向量表示的方法具体为：

步骤2.1：基于词嵌入和Skip-gram模型的词向量计算；

将用户输入的问句输入到Skip-gram模型中，模型会通过查词向量表映射的方式确定对应的词向量，中心词的词向量确定之后，通过隐藏层进一步映射出中心词上下文的词向量表示，之后对整体输出进行一步Softmax处理，从而获得输出的上下文中对应单词的概率，根据此处得到的概率与实际的词做交叉熵计算从而得到目标损失，最后再利用反向传播算法获取参数梯度并进行参数的更新；

步骤2.2：通过词嵌入技术获得当前语料库下的词向量，再对句子中所有词的词向量求平均，即可获得一个句子的向量表示；

步骤3：若用户输入的问句与检索库中的问题的相似度达到了设定的阈值，则将该用户输入的问句输入到个性化模型中进行处理；否则，将用户输入的问句输入到通用模型中进行处理；

使用引入注意力机制以及DROP OUT机制的Seq2Seq模型，通过较小规模的个性化语料数据以及较大规模的通用语料数据构建个性化模型和通用模型，并将所有个性化语料数据中的问句作为一个检索库，用于分别处理涉及个性化信息的以及不涉及个性化信息的两类问题；

所述的引入注意力机制的Seq2Seq模型具体为：

在未引入注意力机制时，解码器的输入仅由上下文向量C以及前一时刻的隐含层状态共同组成，并且每一步中的上下文向量C都会被更新，引入注意力机制之后，解码器在解码过程中使用的上下文向量C均为针对当前时刻输出所选择的最适合的上下文向量；解码器输出层用于预测单词概率的公式如下所示：

p(y_i|y₁，…，y_i-1，x)＝g(y_i-1，s_i，c_i)

其中y_i-1表示i-1时刻的输出；s_i为网络模型在i时刻的隐含层状态，计算公式如下：

s_i＝f(s_i-1，y_i-1，c_i)

注意力机制为每个单元分配的权重函数α_ij作用是衡量编码器输入序列在j时刻的隐含层状态与解码器在i时刻的输出之间的关联性，此时对于i时刻的上下文向量c_i，其值为隐含层状态与权重函数α_ij的乘积：

其中权重函数的计算公式如下：

e_ij＝f(s_i-1，h_j)

步骤4：个性化模型或通用模型输出答复句，完成对话。