[发明专利]一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法

说明书

本发明针对跨领域文本情感分类任务提出了一种基于参数迁移和注意力共享机制方法与系统。特别地，本发明体系结构包括源领域网络和目标领域网络。首先，在训练数据上构建具有预训练语言模型的分层注意力网络，预训练语言模型包含用于单词表示的全局矢量和双向编码器语言模型。其次，在模型迁移中，本发明引入了单词和句子级别参数迁移机制，采用参数迁移和微调技术将网络参数从源领域网络迁移到目标领域网络。最后，情感注意力可以充当连接不同领域的情感传递的桥梁，本发明引入单词和句子级别的注意力机制，并从这两个级别共享跨领域情感注意力。实验表明，本发明提出的方法在亚马逊跨领域情感分类数据集上达到了最优的结果。

技术领域

本发明涉及自然语言处理文本情感分析领域，提出了一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法。

背景技术

传统的文本情感分类方法假定用于训练和测试之间的领域是独立同分布的。但是，在实际条件下，不同的领域之间具有分布差异。跨领域文本情感分类采用源领域数据资源来实现目标领域中的情感分类任务。为了有效解决特定领域中数据标记不足的问题，跨领域情感分类扩展了基于文本的社交媒体中迁移学习的应用，可以提高数据源不足的文本情感分类任务的分类效果。此外，它可以促进基于文本的情感分析相关的应用和行业的快速发展。

深度学习方法在文本情感分类任务上取得了出色的成绩，但它需要大量的带标签训练数据。然而，标注特定领域的数据是一项非常费时费力的任务。情感的分布在不同的领域有所不同。在不同的领域，用户倾向于用不同的情感词表达情感。因此，情感的表达具有领域依赖性。在不同领域训练的分类器很难应用到其他领域，需要执行特定的情感迁移策略。跨领域的情感迁移的核心是找到领域不变性作为实现跨领域迁移的桥梁。

社交媒体中的文本具有三个层次的语义结构，分别是单词、句子和文档。在文档的构成中，单词的情感决定句子的情感，而句子的情感决定文档的整体情感。容易注意到不同的单词和句子对文档整体情感表达的贡献不同。注意力机制可以通过执行加权变换有效地提升序列模型的效果。直觉表明，从源领域训练中获得的单词级和句子级注意权重可以指导目标领域注意权重的训练。通过注意力机制，可以找到对于情感决策中最重要的单词和句子。

在跨领域文本情感分类任务中，需要解决两个问题：(1)如何迁移不同领域深层神经网络的结构和参数？(2)如何在不同领域训练的神经网络模型中共享注意力机制？首先，可以采用模型迁移机制来迁移模型的结构和参数。同时，在深度迁移学习中使用微调策略是模型迁移的关键科学问题。其次，情感注意力机制可以用作连接不同领域的桥梁，单词和句子级别的注意力机制可以跨领域相互指导和训练。

跨领域文本情感分类任务中基于模型或参数迁移的方法假定相关任务的模型共享参数的先验分布。现有方法主要解决两个问题：(1)确定模型中可以共享哪些参数？(2)如何共享模型参数？即使用哪种方法来实现模型参数的迁移。在这些方法中，深度迁移学习是解决跨领域情感迁移问题的一种新方法。通常，深度迁移学习方法主要分为两个步骤：首先，选择合适的深度情感语义组合方法，然后选择合适的学习算法来迁移相关的情感知识。