[发明专利]一种基于多通道注意力融合的方面级情感分析系统及方法

说明书

本发明属于自然语言处理技术领域，公开了一种基于多通道注意力融合的方面级情感分析系统及方法，使用BERT预训练模型，将初始文本数据转换成为带有上下文语境信息的文本词向量。通过方面词增强机制，增强方面词在文本中的语义权重；通过BiGRU神经网络捕捉文本序列的位置信息，学习文本内的顺序关系，提取文本特征。构建多通道注意力融合层，引入文本卷积神经网络，多维度地提取不同大小的高维文本特征，同时每个通道中引入自注意力机制，有效地利用了上下文对于方面词的注意力信息，提高模型准确率。

技术领域

本发明属于自然语言处理技术领域，具体是涉及一种基于多通道注意力融合的方面级情感分析系统及方法。

背景技术

近些年来全球互联网行业得到快速发展，互联网在人们的日常生活中所占的比重越来越大，我们可以看到网络上用户生成内容的大量增加，大量的文本数据得以生成。随着先进的数字化技术得到应用，人们群众越来越倾向于通过互联网在网络上进行购物、观看网络直播进行娱乐、接受在线教育，以及通过QQ、微信、微博等社交软件进行社交以及评论。人们在使用互联网来进行各种社会活动的过程当中，大概率会产生并传递个人的观点、意见、情绪、立场等相关情感信息，例如消费者在进行网络购物之后，会在购物平台上面对商家服务态度以及购买的商品质量等进行评价；在微博、贴吧以及知乎等社交平台上面，人们热衷于关注社会上发生的实时热点事件，并参与话题的讨论，表达出对该事件的情感态度。对这些带有情感倾向的数据进行收集、分析、归纳，从中识别出情感倾向或观点的过程，就是情感分析，又称观点挖掘、倾向性分析，是人们对产品、服务、问题、事件以及主题等实体的观点、情感、态度及其属性的计算研究。情感分析目前已经成为自然语言处理(NaturalLanguage Processing, NLP)中最活跃的研究领域之一，也在数据挖掘，Web挖掘，文本挖掘和信息检索方面有广泛的应用，具有极高的现实研究价值。

文本数据的情感分析任务可以根据所研究内容的细粒度大小分为篇章级、句子级以及方面级。以往对于文本的情感分析研究大都聚焦于篇章级以及句子级这两级文本上面，对于方面级文本的情感分析研究比较少。由于人类语言内容相当丰富，一段话甚至一句话中通常包含多个方面多个实体，若只是在篇章级和语句级上面对文本进行整体的情感分析，不可避免地会丢失大量信息，得出的结论甚至会与真实情况大相径庭。例如“洗衣机很好用，但是快递很慢，商家服务态度也不好”；其中，“洗衣机”作为目标，其情绪倾向是正向的；而“快递”以及“服务态度”作为目标，其情绪倾向是负向的。这个事例中关联到对商品性质和服务方面的评价，且每个方面对应的情绪偏向是不一样的，因此，直接对整个句子判定情绪倾向，不但不严谨，而且不精确。总体来说，基于方面级别的文本情感分类，更具有针对性且更有价值，所以受到广泛研究者的关注，对方面级情感分析的要求也日益增加，逐渐成为了情感分析问题的研究热点和重点。

但现有技术中对于方面级情感分析的方法，多采用静态词嵌入，导致向量不具备上下文语境信息且无法应对一词多义，同时特征提取网络无法多维度地挖掘文本中的局部特征和语境信息。如专利申请CN112434161A公开了一种采用双向长短期记忆网络的方面级情感分析方法，改善传统的情感分析算法中对不同方面情感分析的单一性及笼统型问题，更加准确的对用户评论中不同方面的情感极性进行判断；但其没有能够充分考虑文本的上下文语境，所采用的长短期记忆网络（LSTM）模型效率不高；仅仅使用一个双向LSTM网络里挖掘文本的隐藏信息，易遗漏大量关键信息，使得上下文语境信息利用不充分；所引入的Encoder-Decoder模型，无法兼顾局部与总体特征，没有误差修正，无法有效地对不同词汇分配合适的注意力，使得模型拟合效率低下，算力消耗大。

发明内容

为解决上述技术问题，本发明提出了一种基于多通道注意力融合的方面级情感分析系统及方法，利用BERT预训练模型处理初始文本，通过方面词增强、BiGRU神经网络提取文本特征；构建多通道注意力融合层，使用文本卷积神经网络多维度地提取局部信息，结合自注意力机制有效利用上下文信息，从而提高模型准确率。