[发明专利]一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法

权利要求书

1.一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，包括以下步骤：

S1，基于参数迁移和注意力共享机制的可迁移神经网络体系，具体包括源领域网络和目标领域网络，源领域网络和目标领域网络具有相似的网络结构，它们包括单词序列层和编码层、单词注意力层、句子序列层和编码层、句子注意力层以及情感分类层；

S2，分层注意力网络重视文档中的局部语义，并采用双向门控循环单元学习单词和句子的表示形式，文档x由数个句子s组成，s由数个单词w组成，并且词w表示为固定维度的单词向量，通过文档级分布式表示可以有效地捕捉情感语义特征；

S3，通过参数迁移技术将源领域网络参数直接迁移到目标领域网络，在源领域D^S上训练源领域网络最佳参数W_s，以最大程度地降低经验风险，使用目标领域带有标记训练数据对目标领域网络进行微调；

步骤S3还包括：

S31，源领域神经网络参数W_s的训练过程为

其中γ_s是渐变的步长；

S32，使用W_s作为初始参数来训练目标领域网络，目标领域标记数据集用于更新目标领域网络参数W_T：

其中γ_T是渐变的步长；

S4，将情感注意力视为一组映射，对分层注意力网络输入最重要的单词或句子经过编码以确定其最终输出，使用源领域带标签数据集D^S和目标领域带标签数据集获取与文档中的情感类别相关的位置信息，将此类信息视为情感注意力，并通过编码和解码过程在D^S和上共享它们，采用注意力共享机制，将情感注意力信息共享到未标记的目标领域数据集

S5，在基于分层注意力机制的可迁移神经网络的训练阶段，源领域D^S和目标领域带标签数据可以指导彼此的训练过程；训练过程采用小批量的梯度下降优化策略用于源领域D^S和目标领域带标签数据

步骤S5还包括：

S51，一种基于参数迁移和注意力共享机制的跨领域文本情感分类模型的总损失函数为

其中，L_sen-source是在源领域带标签数据集D^S的情感分类损失，L_sen-target是目标领域带标签数据集的情感分类损失，β是词级相似度L_{word-attention}的权重，γ是句子相似度L_{sen-attention}的权重，且β,γ∈[0,1]，是广义Frobenius范数，而λ₁和λ₂分别是D^S和的参数集范数的权重；

S52，源领域中带标签数据训练仅更新模型的左半部分，源领域网络最佳参数W_s直接迁移到目标领域D_T；

S53，源领域单词级和句子级注意力可以指导目标领域中分层注意力的学习，源领域注意力权重α^S可以计算目标领域注意力权重α^T，目标领域训练数据可以更新目标领域网络的参数，此外，使用基于目标领域注意力权重α^T来计算源领域注意力权重α^S。

2.根据权利要求1所述的一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法，其特征在于，所述步骤S1包括：

S11，对源领域带标签数据D^S和目标领域带标签数据进行预处理，然后执行单词向量化；随后，构建分层注意力网络模型，然后分别在源领域带标签数据D^S和目标领域带标签数据上进行特征提取，以获得文本数据的分布式表示形式；

S12，词级匹配网络包括正向和反向门控循环单元层，这些层旨在获得句子的情感语义表示；同样，句子级网络包含正向和反向的门控循环单元层，可以通过引入句子级注意力来提供文档的最终表示，网络输出是积极或消极的文本情感倾向；

S13，在模型迁移方面，将源领域网络中双向门控循环单元层的参数迁移到目标领域网络；源领域网络和目标领域网络的分层的注意机制在训练过程中互相指导；源领域词级注意力和目标领域词级注意力可以共享；源领域句子级注意力和目标领域句子级注意力也可以共享；注意力共享机制在学习过程中不断减小不同领域中注意力向量之间的距离。