[发明专利]一种对话回复生成方法和一种对话回复生成方法模型

权利要求书

1.一种对话回复生成方法，其特征在于，包括步骤：

S12：根据历史选择知识向量计算选择感知向量，然后分别执行步骤S13和步骤S14；

S13：根据所述选择感知向量和所述历史选择知识向量计算知识流趋势向量；

S14：将所述选择感知向量和候选知识向量进行比较，获得比较信息；

S15：对上下文语句进行编码，获得上下文向量；其中，步骤S15在步骤S20之前的任一阶段执行；

S20：根据所述候选知识向量、所述知识流趋势向量、所述比较信息和所述上下文向量计算知识选择分布；

S30：根据所述知识选择分布计算每个候选知识向量的注意力得分，并将注意力得分最高的候选知识向量作为当前选择知识向量；

S40：根据所述上下文向量和所述当前选择知识向量计算历史解码状态向量，并根据所述历史解码状态向量和历史生成词计算当前时刻的解码状态向量；

S50：根据当前时刻的所述解码状态向量、所述历史生成词、所述上下文向量、所述当前选择知识向量分别计算当前时刻的词表生成概率和当前时刻的知识复制概率，并根据当前时刻的所述词表生成概率和当前时刻的所述知识复制概率计算当前时刻的目标生成概率。

2.根据权利要求1所述的对话回复生成方法，其特征在于，步骤S12具体为：

采用一层Transformer块的自注意力机制对所述历史选择知识向量进行建模，捕获知识流中的动态信息，获得所述选择感知向量，其计算公式为：

F_τ＝Transformer[TE(r_τ-N,s,r_τ-N+1,s,...,r_τ-1,s)] (4)

F_τ＝{f_τ-N,f_τ-N+1,...,f_τ-1} (5)

式中，F_τ为第τ轮对话的所述选择感知向量；f_τ-N,f_τ-N+1,...,f_τ-1分别为第(τ-N)轮至第(τ-1)轮对话的相互感知向量；TE()表示对每个所述历史选择知识向量添加对应轮次的信息嵌入的操作；r_τ-N,s,r_τ-N+1,s,...,r_τ-1,s分别为第(τ-N)轮至第(τ-1)轮对话的所述历史选择知识向量；N为知识选择参数。

3.根据权利要求2所述的对话回复生成方法，其特征在于：

所述知识流趋势向量的计算公式为：

式中，T_τ为第τ轮对话的所述知识流趋势向量；f_τ-n为第(τ-n)轮对话的所述相互感知向量，r_τ-n,s为第(τ-n)轮对话的所述历史选择知识向量；λ_n为第(τ-n)轮对话的知识选择权重；其中，n∈[1,N]，且λ_n≥0。

4.根据权利要求3所述的对话回复生成方法，其特征在于，步骤S14具体为：

通过比较函数将每个所述候选知识向量与当前轮次的所述选择感知向量进行比较，获得所述比较信息，其计算公式为：

其中，f_n为第(τ-n)轮对话的所述相互感知向量，r_l为第l个候选知识向量，o_τ,l为第l个候选知识向量与第τ轮对话的选择知识向量的比较信息；Compare(,)表示比较函数，F()表示tanh激活函数，⊙表示哈玛达乘积。