[发明专利]针对请求和情感标签生成的带有指定情感的机器回复方法

权利要求书

1.针对请求和情感标签生成的带有指定情感的机器回复方法，其特征在于，包括以下步骤：

步骤1：利用带情感标签的对话数据集，提取其中带有情感的句子，得到用于预训练模型的语料集，同时搜集全部语句作为正式训练语料集；计算词汇的词频-逆文本频率，用于获取主题词典，同时，获取外部情感词典；利用整体语料集，训练获取词的向量表示；

步骤2：构建预训练网络模型，用于情感打分；

预训练网络模型由长短期记忆LSTM和全连接层构成，其输出为情感分类情况，其中，情感得分score由余弦相似度计算，如式1所示：

其中，p_classify表示情感分类结果，l_one-hot表示情感标签的独热向量；‖·‖表示向量·的2范数；

预训练损失函数如下式所示：

L′＝L′₁+L′₂ (2)

L′₁＝(1-score) (3)

L′₂＝-∑_jy_jlog(p_j) (4)

其中，L′表示预训练损失函数，L′₁表示情感得分损失，L′₂表示情感分类损失；p_j表示数据被分到第j类的概率；y_j表示实际分类结果，当数据属于j类时为1，其余情况为0；

步骤3：构建用于正式训练的损失函数；

正式训练损失函数包含以下三个部分：

一是条件变分自编码器分布之间的KL散度表示如下：

其中，KL表示KL散度计算，P_r()表示条件变分自编码器中的识别网络输出的分布，z表示隐变量，X表示输入请求，表示参考回复，P_p()表示条件变分自编码器中的先验网络输出的分布；

二是对隐变量的情感分类损失表示如下：

其中，表示在分布下的交叉熵；P(label|z)表示对隐变量z的分类结果为label的概率，label表示目标情感类别；

三是输出回复序列与参考回复序列之间的交叉熵损失表示如下：

其中，Y表示目标输出，z表示隐变量，t表示时间步，y_t表示第t个时间步的输出，y表示时间步的输出；

则用于正式训练的损失函数表示如下：

其中，α为超参数，用于控制KL损失所占的权重，在训练过程中由0增至1；

步骤4：利用步骤1获取的训练数据和步骤2构建的预训练网络模型，训练得到预训练情感打分网络参数Parameter_pre-train；

步骤5：利用步骤1得到的训练数据、步骤3的损失函数，以及步骤4得到的预训练情感打分网络参数，训练步骤2构建的预训练网络模型；

实际运行情感对话生成应用，在没有参考回复的条件下，利用条件变分自编码器中的判别网络，生成隐变量的分布。