[发明专利]一种基于知识引导的方面级情感分析模型训练方法

说明书

本发明公开了一种基于知识引导的方面级情感分析模型训练方法，首先在句子级情感分析数据集上对方面级情感分析模型进行预训练，得到学习了丰富语义知识的预训练模型Msubgt;1/subgt;；然后，使用基于知识引导的训练策略，在方面级情感分析数据集上对预训练模型Msubgt;1/subgt;再次进行训练，通过学习速度快的导航者模型引导学习速度慢的学习者模型，使学习者模型(即模型Msubgt;2/subgt;)能够学习到预训练数据集和目标任务数据集之间领域不变的语义知识；最后，构造最终的方面级情感分析模型，并使用模型Msubgt;2/subgt;对其进行初始化，在方面级情感分析数据集上该情感分析模型进行微调，从而得到最终的高性能的方面级情感分析模型Msubgt;final/subgt;。本发明在多个方面级情感分析公开数据集上实现了最优的效果。

技术领域

本发明属于细粒度情感分析技术领域，具体涉及一种基于知识引导的方面级情感分析模型训练方法。

背景技术

随着深度学习的提出和快速发展，基于深度学习的方面级情感分析模型训练技术已经取得阶段性的进展。然而，由于方面级情感分析模型训练数据标注困难，目前的方面级情感分析数据集普遍存在样本数量不足的问题，因此方面级情感分析模型训练仍然面临巨大挑战。目前，业界主要使用知识迁移训练方法来解决此类问题，具体而言，此类训练方法首先在样本数量充足的句子级情感分析数据集(预训练数据集)上进行预训练，得到学习到丰富语义知识的预训练模型；然后在样本数量较少的方面级情感分析数据集(目标任务数据集)上对预训练模型进行微调，将预训练模型中的语义知识迁移到目标任务模型，得到最终的方面级情感分析模型。这类训练方法可以在一定程度上缓解训练样本不足的问题，但是难以取得理想的训练效果。因为预训练数据集和目标任务数据集之间往往存在着巨大的领域差异，直接在目标任务数据集上对预训练模型进行微调，会造成预训练得到的语义知识被灾难性遗忘，从而极大的影响了方面级情感分析模型训练效果。

为了解决上述问题，少数发明尝试在知识迁移训练方法中进一步引入领域自适应的技术，以缩小预训练数据集和目标任务数据集之间的领域差异。具体而言，这类发明通过对齐预训练数据集和目标任务数据集的知识空间，学习到领域不变的语义知识，从而缩小二者之间的领域差异，进而缓解模型微调过程中的语义知识被灾难性遗忘的问题。这些发明虽然能解决上述知识遗忘的问题，但是这些发明仅适用于特定的网络结构，例如循环神经网络和注意力机制网络，而对于其他网络结构适应性较差。

发明内容

有鉴于此，本发明的目的在于提供一种基于知识引导的方面级情感分析模型训练方法。该方法创新性地提出了一种能适应于任意方面级情感分析网络结构的模型训练框架，在使用知识迁移训练策略解决训练样本不足问题的同时，可以有效地缓解预训练数据集和目标任务数据集之间存在的领域差异问题，从而有效提升语义知识迁移效果。

为了实现上述发明目的，本发明所采用的技术方案是：一种基于知识引导的方面级情感分析模型训练方法，其特征在于，包括以下步骤：

(1)在样本数量充足的句子级情感分析数据集上对方面级情感分析模型进行预训练，得到方面级情感分析预训练模型M₁，该模型在句子级情感分析数据集中学习得到丰富的语义知识；

(2)使用基于知识引导的训练策略，在方面级情感分析数据集上对步骤(1)中获得的预训练模型M₁进行再次训练，得到方面级情感分析预训练模型M₂。具体而言，知识引导策略中引入了一个导航者模型和一个学习者模型，其中导航者模型学习速率快，学习者模型学习速率慢。通过导航者模型引导学习者模型的训练更新，使学习者模型在学习到目标任务数据集领域知识的同时，能够保持先前学习到的预训练数据集领域知识，最终在知识引导损失函数的约束下，学习得到领域不变的知识。训练得到的学习者模型即为预训练模型M₂；