[发明专利]一种基于BERT模型以及注意力集中网络的细粒度情感分析方法

说明书

一种基于BERT模型和注意力集中网络的细粒度情感分析方法，通过结合BERT模型与注意力机制，构造了一种进行细粒度情感分析任务的模型。首先将待分析的句子及其方面词拼接为输入文本，使用BERT模型对输入文本进行语义信息整合，然后通过注意力机制构造一个注意力集中网络层，进行更深层次的信息提取，最后使用一个全连接层获取最终的情感分析预测结果。本方法实现了一种注意力集中网络，将句子与方面词的文本信息交互，然后使得注意力集中于句中对应方面的语义信息，并通过将其与BERT结合，使得模型有能力提取出细粒度情感分析任务文本中较深层次的语义，相较于各基线模型，成功地提高了细粒度情感分析结果的准确度和F1值指标。

技术领域

本发明涉及自然语言处理、深度学习、方面级情感分析领域，特别涉及一种基于BERT 模型和注意力集中网络的细粒度情感分析方法。

背景技术

随着互联网技术的高速发展，网民数量也日益增多，社交媒体、电子商务等新兴产业在此带动下得以迅猛发展，越来越多的人会在网络分享、发表对于各种产品、服务、事件、新闻等的评论分析，而通过情感分析的手段，这些评论信息可以反映出许多有价值的信息。比如，对于商家而言，可以获取消费者对于某种产品的反馈，进而分析出这种产品的市场价值以及改进空间大小，从而创造出更好的收益；对于消费者而言，可以据此判断一种产品的口碑、质量，从而对于是否购买这种产品做出更理性的判断；对于新闻所涉及的相关单位来说，可以据此获取网民对于一个事件的态度、情感倾向，从而做出更好的后续应对。

传统的商品评论粗粒度情感分析，识别的是整条评论所表达出来的情感倾向，然而在有些情况下，一条评论信息中有可能会涵盖多个角度，而对于不同角度的情感倾向有可能是不一致的。比如，一条评论中可能会表达出一家店铺的产品质量很好，但是店铺环境一般，位置不好的观点，从而对于这条评论的粗粒度情感分析并不能涵盖它所表达的完整情感倾向，得出不准确的结论。细粒度情感分析可以识别一条评论中各个给定的方面词的情感倾向，并由此得出更加准确、全面的情感分析结论，避免信息丢失。

目前，已存在很多细粒度情感分析领域的研究，研究中涉及了各种神经网络，包括长短期记忆人工神经网络、卷积神经网络、循环神经网络、BERT模型，等等，取得了较好的效果。然而，在进行细粒度情感分析时，有可能存在其他多个角度的情感倾向文本信息，以及隐式的情感表达，这就会导致训练过程中的信息缺失，对情感分析结果的准确性造成较大的干扰。

发明内容

本发明提供一种基于BERT模型和注意力集中网络的细粒度情感分析方法，缓解了现有技术中存在的训练过程中信息缺失的现象，更有效地解决了方面级情感分析问题。

本发明是通过以下技术方案实现的：一种基于BERT模型和注意力集中网络的细粒度情感分析方法，步骤如下：

S1：获取待进行细粒度情感分析的句子及其对应的方面词，经过预处理，获得文本中的每个单词的词向量表达；

将待进行细粒度情感分析的句子及其对应的方面词拼接为“[CLS]+待分析的句子+[SEP]+ 方面词+[SEP]”形式的输入文本序列，其中[CLS]作为文本开始符号，[SEP]作为文本分隔及结束符号；然后采用BERT模型对长度为x的输入文本序列进行向量转化，得到文本的词向量表达s。

S2：将S1获取的词向量表达序列输入到BERT神经网络模型进行处理，获得每个词向量与上下文信息整合后的语义信息；

所述步骤S2具体包括：将文本的词向量表达s输入到BERT模型进行处理，得到BERT模型最后一层的隐藏状态作为每个词向量与上下文信息整合后的语义信息H^x*h，其中h为BERT模型的隐藏层数量。

S3：对S2获得的语义信息，采用根据注意力机制所构建的注意力集中网络层进行分析处理，提取关键信息；