[发明专利]基于BERT和方面特征定位模型的方面级情感分析方法及系统

说明书

本发明涉及一种基于BERT和方面特征定位模型的方面级情感分析方法及模型，该方法包括：首先利用BERT模型来获得高质量的上下文信息表示和方面信息表示，以保持文本信息的完整性；接着构建一个基于多头注意机制的注意编码器来学习体表征和上下文表征之间的相互作用，整合体词和上下文之间的关系，进一步区分不同句子和方面词对分类结果的贡献；然后构造一个方面特征定位模型来捕获句子建模时的方面信息，并将方面的完整信息整合到交互语义中，以减少与方面词无关的干扰词的影响，提高方面词信息的完整性；最后融合与目标相关的上下文和目标重要信息，并在融合信息的基础上利用情绪预测因子预测不同情绪极性的概率。能够更好地模拟上下文之间的隐式关系，更好地利用了方面词的信息和减少与方面词无关信息的干扰，从而获得了更高的精确度和宏F1。

技术领域

本发明属于方面级情感分析技术领域，特别涉及一种基于BERT和方面特征定位模型的方面级情感分析方法及系统(ALM-BERT)。

背景技术

电子商务是一个蓬勃发展的行业，对全球经济的重要性与日俱增。尤其是，随着社交媒体的迅速发展和网络社交平台的不断普及，越来越多的用户开始在各种网络平台上表达自己带情感的评论。这些评论反映了用户和消费者的情绪，为销售商和政府等提供了许多关于商品或服务质量的有价值的反馈信息。例如：在购买商品之前，用户可以在电子商务平台上浏览大量关于该商品的评论，以决定该商品是否值得购买。同样，政府和企业可以直接从互联网上收集大量的公众评论，分析用户的意见和满意度，进而满足他们的需求。因此，情感分析作为自然语言处理的一项基础性和关键性工作，引起了理论界和实践界的广泛关注。

然而，常见的情感分析任务(如句子级情感分析)只能从整个句子中确定用户对产品或事件的情感极性(如积极、消极和中性)，无法确定句子某一特定方面的情感极性。相比之下，方面级情感分析是一个更细粒度的分类任务，它可以识别句子中多个方面的情感极性。例如图9所示，提供了一些句子级情感分析和基于方面的情感分析的示例(有三个方面术语的消费者评论示例)，我们可以从评论文本中看到，“它并没有附带任何安装在windowsmedia之外的软件，但对于价格，我对它的条件和整体产品非常满意”，方面术语“软件”的情绪极性是负面的、“windows media”是中性的、“价格”和“非常满意”是正面的。

在已有研究中，研究人员提出了各种方法来完成方面级情感分析任务。其中，大部分是基于有监督机器学习算法的方法，并且取得了一定效果。然而，这些统计方法需要在大规模数据集上精心设计手工特征，导致需要大量的人力和时间等成本。鉴于神经网络模型能够从评论文本中自动学习方面和上下文的低维表示，而不用依赖人工特征工程，使得近年来神经网络在方面级情感分析任务中受到了越来越多的关注。

不幸的是，现有方法大多直接利用递归神经网络(RNN)或者卷积神经网络(CNN)来独立地建模，以及表达方面词(aspect word)及其上下文的语义信息，但却忽略了它们对关键部件的位置缺乏敏感性这一事实。在实践中，研究者已经证明，体词的情感极性与体词信息和语序信息高度相关，这意味着方面词的情感极性更容易受到距离方面词较近的上下文词的影响。此外，神经网络很难捕捉到方面词和上下文之间的长期依赖关系，从而造成有价值信息的丢失。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种能够更好地利用方面词的信息和减少与方面词无关信息的干扰，从而获得了更高的精确度和宏F1的基于BERT和方面特征定位模型的方面级情感分析方法，以及基于该基于BERT和方面特征定位模型的方面级情感分析方法的系统。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供的一种基于BERT和方面特征定位模型的方面级情感分析方法，包括：

S1.利用BERT模型来获得高质量的上下文信息表示和方面信息表示，以保持文本信息的完整性；