[发明专利]针对请求和情感标签生成的带有指定情感的机器回复方法

说明书

本发明涉及针对请求和情感标签生成的带有指定情感的机器回复方法，属于自然语言处理技术领域。本发明利用深度学习框架，引入预训练情感打分机制，能够控制回复生成过程中的情感表达，考虑到了词汇以及词与词之间相互作用；引入细粒度情感词典，综合考虑了情感词汇在不同情感类别中出现的概率，同时在训练过程中微调，能够丰富输出回复的情感表达；利用条件变分自编码器对参考回复建模，使得解码器能够学习到输入和输出的对应关系，优化回复与输入请求之间的语义关联。本发明在多个情感对话生成数据集上均取得了良好的性能提升，同时本发明提出的预训练情感打分器具有很强的灵活性和适配性。

技术领域

本发明涉及一种针对请求和情感标签生成的带有指定情感的机器回复方法，属于自然语言处理技术领域。

背景技术

随着人机对话系统的不断发展，在生活中越来越多地接触到这类能够与人类进行交谈的“机器人”，它们正在一点点融入人们的日常生活，在帮助完成很多事情中不断提升生活水平。

目前，现有的基于深度学习的人机对话系统，机器生成的回复往往都是“冷冰冰”、不带有情感倾向的回复。而情感被视为一种“人类智能”，情感表达和感知能够通过自然语言实现，体现了基于情感的对话生成的重要性。

基于情感的对话生成，成为一个新颖且有意义的研究。然而，现有研究主要采取在解码器输入端拼接情感嵌入或引入外部情感词典方式，忽略了情感词更细力度的分类。

发明内容

本发明的目的是针对现有技术存在的缺陷，创造性地提出一种针对请求和情感标签生成的带有指定情感的机器回复方法。

本发明的创新点在于：利用深度学习框架，使用不同的情感标签生成表达指定情感的对话回复，实现在表达上更加流利且在情感上更加准确的人机对话机制。

一种针对请求和情感标签生成的带有指定情感的机器回复方法，包括以下步骤：

步骤1：获取训练数据，并进行数据处理。

具体地，利用带情感标签的对话数据集，提取其中带有情感的句子，得到用于预训练模型的语料集。计算词汇的TF-IDF(term frequency–inverse document frequency，词频-逆文本频率)，用于获取主题词典，同时，获取外部情感词典。利用整体语料集，训练获取词的向量表示。

步骤2：构建预训练网络模型，用于情感打分。

具体地，预训练网络模型由LSTM(长短期记忆，Long short-term memory)和全连接层构成，其输出为情感分类情况。

其中，情感得分score由余弦相似度计算，如式1所示：

其中，p_classify表示情感分类结果，l_one-hot表示情感标签的独热向量；‖·‖表示向量·的2范数；

预训练损失函数如下式所示：

L′＝L′₁+L′₂ (2)

L′₁＝(1-score) (3)

L′₂＝-∑_jy_jlog(p_j) (4)

其中，L′表示预训练损失函数，L′₁表示情感得分损失，L′₂表示情感分类损失；p_j表示数据被分到第j类的概率；y_j表示实际分类结果，当数据属于j类时为1，其余情况为0。