[发明专利]一种报文生成方法、装置及设备

权利要求书

1.一种报文生成方法，所述方法使用了报文生成模型，所述报文生成模型包括：编码器、第一权重向量生成层、混合编码向量生成层、全连接层及解码器；所述编码器与所述解码器均为时间递归神经网络模型；

其中，所述编码器及所述第一权重向量生成层均与所述混合编码向量生成层连接，所述混合编码向量生成层与所述全连接层连接，所述全连接层与所述解码器连接；所述方法包括：

利用所述编码器接收用户特征向量序列后，得到所述编码器输出的编码向量序列，所述用户特征向量序列中的用户特征向量是根据用户特征信息生成的词向量；

利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，所述预设转移概率矩阵用于表征所述用户特征向量序列中的第一用户特征向量所对应的报文语句出现于第二用户特征向量所对应的报文语句之后的概率；

所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量；

所述全连接层根据接收到的所述混合编码向量及所述解码器的上一刻输出向量，生成所述解码器的输入向量；

利用所述解码器对所述输入向量进行解码处理，得到报文。

2.如权利要求1所述的方法，所述报文生成模型还包括：第二权重向量生成层；所述编码器的输入、所述编码器的输出及所述解码器的输出均与所述第二权重向量生成层的输入连接，所述第二权重向量生成层的输出与所述混合编码向量生成层的输入连接；

所述向所述全连接层输出混合编码向量之前，还包括：

利用所述第二权重向量生成层基于注意力机制，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；

所述混合编码向量生成层接收所述编码向量序列及所述各个编码向量的第一权重向量后，向所述全连接层输出混合编码向量，具体包括：

针对每个所述编码向量，所述混合编码向量生成层根据所述编码向量的所述第一权重向量及所述第二权重向量，生成所述编码向量的综合权重向量，并将所述编码向量与所述综合权重向量之积，确定为与所述编码向量对应的综合编码向量；

计算所述各个编码向量对应的各个所述综合编码向量之和，得到混合编码向量。

3.如权利要求2所述的方法，所述根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的上一刻输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量，具体包括：

当所述解码器的待输出报文字符为第t个字符时，基于第一公式，根据接收到的所述用户特征向量序列、所述编码向量序列及所述解码器的第t-1个输出向量，确定所述编码向量序列中的各个编码向量的第二权重向量；

所述第一公式表示为：

其中，表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第二权重向量；f_i表示所述用户特征向量序列中的第i个用户特征向量，h_i表示所述编码向量序列中的第i个编码向量，y_t-1表示所述解码器的第t-1个输出向量，W^(f)表示第一参数矩阵、b^(f)表示第二参数矩阵、W^(c)表示第三参数矩阵，b^(c)表示第四参数矩阵；C表示所述用户特征向量序列中的用户特征向量的个数，j＝1、2、…C，t为正整数。

4.如权利要求3所述的方法，所述利用所述第一权重向量生成层根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量，具体包括：

当所述解码器的待输出报文字符为第t个字符时，所述第一权重向量生成层基于第二公式，根据预设转移概率矩阵，确定所述编码向量序列中的各个编码向量的第一权重向量；

所述第二公式表示为：

其中，表示当所述解码器的待输出报文字符为第t个字符时，所述编码向量序列中的第i个编码向量的第一权重向量；表示所述编码向量序列中的第j个编码向量所对应的报文语句出现于与第i个编码向量所对应的报文语句之后的概率；softmax{}表示激活函数。