[发明专利]一种基于知识引导的方面级情感分析模型训练方法

权利要求书

1.一种基于知识引导的方面级情感分析模型训练方法，其特征在于，包括如下步骤：

(1)在样本数量充足的句子级情感分析数据集上对方面级情感分析模型进行预训练，得到方面级情感分析预训练模型M₁，该模型在句子级情感分析数据集中学习得到丰富的语义知识；

(2)使用基于知识引导的训练策略，在方面级情感分析数据集上对步骤(1)中获得的预训练模型M₁进行再次训练，得到方面级情感分析预训练模型M₂；具体而言，知识引导策略中引入了一个导航者模型和一个学习者模型，其中导航者模型学习速率快，学习者模型学习速率慢，通过导航者模型引导学习者模型的训练更新，使学习者模型在学习到目标任务数据集领域知识的同时，能够保持先前学习到的预训练数据集领域知识，最终在知识引导损失函数的约束下，学习得到领域不变的知识，训练得到的学习者模型即为预训练模型M₂；

所述步骤(2)中使用基于知识引导的训练策略对方面级情感分析预训练模型M₁进行再次训练的具体实施方式如下，

21)分别构造一个导航者模型和一个学习者模型，二者具有相同的网络结构，对预训练模型M₁网络中最后的分类层进行了修改，得到新的导航者与学习者模型网络结构；

22)使用预训练模型M₁对导航者模型和学习者模型进行参数初始化，其中由于导航者与学习者模型网络的分类层不同于预训练模型，所以导航者与学习者模型网络分类层的参数由随机初始化得到；

23)在方面级情感分析数据集上对导航者模型与学习者模型进行训练；具体而言，导航者模型根据反向传播算法进行参数更新，使用知识引导损失函数L_G进行约束，该损失函数包含两部分，分别是交叉熵损失函数L_c和一致性损失函数L_r，计算如公式(1)，

其中，y，p_g和p_l分别表示方面级情感分析数据集真实标签、导航者模型预测结果和学习者模型预测结果；i和j分别表示数据集中样本索引和标签类别索引；α是平衡参数，控制损失函数的权重；

学习者模型使用滑动平均方法，根据导航者模型的参数进行更新，具体更新方法见公式(2)，

其中，θ_l和θ_g分别表示学习者模型和导航者模型的参数；t表示第t次训练迭代，β是控制参数；

(3)最后在方面级情感分析数据集上对步骤(2)中训练得到的模型M₂进行微调，将学习得到的领域不变知识迁移至方面级情感分析模型中，从而得到最终的高性能方面级情感分析模型M_final。

2.如权利要求1所述的一种基于知识引导的方面级情感分析模型训练方法，其特征在于：所述步骤(1)中在句子级情感分析数据集上训练方面级情感分析预训练模型的具体实施方式如下，

11)使用基于语法规则的方面词提取方法，对句子级情感分析数据集中样本进行方面词提取，获得伪方面词，即将句子级情感分析数据集转换成伪方面级情感分析数据集；

12)选用任一方面级情感分析模型的网络作为预训练网络，并将预训练网络中位置信息处理模块去除，如果预训练网络本身没有这一模块，则不用去除；

13)将伪方面级情感分析数据集中的文本输入到预训练网络，训练得到方面级情感分析预训练模型M₁。

3.如权利要求2所述的一种基于知识引导的方面级情感分析模型训练方法，其特征在于：所述步骤(3)中在方面级情感分析数据集上对模型M₂进行微调，得到最终的高性能的方面级情感分析模型M_final的具体实施方式如下，

31)构造最终的方面级情感分析模型，当预训练网络本身具有位置信息处理模块时，重新在该方面级情感分析模型中引入位置信息处理模块，其他结构与预训练模型M₂保持一致；

32)使用预训练模型M₂对构造得到的方面级情感分析模型进行参数初始化，然后在方面级情感分析数据集上对方面级情感分析模型进行微调，最终训练得到高性能的方面级情感分析模型M_final。