[发明专利]一种利用上下文和方面记忆信息的情感分类方法

说明书

本发明提供一种利用上下文和方面记忆信息的情感分类方法，涉及情感分析技术领域。本发明通过选择待进行情感分析的数据集，建立基于方面的情感分析模型，通过交叉熵损失函数与Lsubgt;2/subgt;正则化项的和来训练基于方面的情感分析模型，将待进行情感分析的数据集通过训练好的基于方面的情感分析模型，实现文本的情感分析。本发明提出的网络模型来提取方面的情感极性，该模型构建并结合了上下文记忆构建、方面记忆更新和情感分类模块来解决方面级别的情感分类任务，将多头注意力机制应用到基于方面的情感分析中，并考虑两种应用方法，由于多头注意力机制中每一头的权值是不共享的，因此该模型可以学习不同子空间的特征表示，从而做出更准确的预测。

技术领域

本发明涉及情感分析技术领域，尤其涉及一种利用上下文和方面记忆信息的情感分类方法。

背景技术

情感分析(Sentiment analysis)又称为意见挖掘、主观性分析等，是自然语言处理的任务之一。它是对带有情感色彩的内容进行归纳和推理的一个过程。随着网络时代的发展，越来越多的人热衷于在网络上发表自己的情感、观点和态度，情感分析就是将这些观点态度提取出来的一个过程。由于在网络上产生的大量数据都是以文本的形式存在的，所以基于文本的情感分析是至关重要的。情感分析可以分为三个层次粒度：文档级别(document-level)、句子级别(sentence-level)和方面级别(aspect-level)。文档级别的情感分类是为含有一个意见的文档确定一个整体的情感极性。句子级别的情感分析是为一个句子确定一个情感极性。与文档级别和句子级别的情感分类不同的是，方面级别的情感分析既要考虑句子的内容，又考虑句子的目标信息，因为情感总是有目标的。目前很多方法都尝试提取出表达意见文本的整体的情感极性，而忽略了其中的实体，方面或者目标。方面级别的情感分析是具有挑战的，它是一种细粒度的任务。基于方面的情感分析是通过输入的句子的方面来判断句子中关于每个方面的情感极性。输入的句子可以是商品评论，社交网络评论等带有方面的句子。例如在句子“食物出奇的好吃，餐厅的装饰也很不错”中，“食物”和“装饰”就是句子的提到的两个方面。在这个句子中它们的情感极性都是积极的。

解决基于方面的情感分析主要有三种方法。第一种是传统的使用情感词典和规则进行情感分析的方法。但是在很多情况下分类的效果受限于情感词典的质量，而情感词典的构建费时又费力。第二种是使用机器学习进行情感分析的方法。以往，研究人员通常使用朴素贝叶斯(NB)或支持向量机(SVM)等分类模型。这些方法是基于在高维稀疏数据结构上训练的浅层模型。因此，这些分类模型侧重于设计有效的手工特征，以获得更好的性能。然而。特征工程是一项非常困难、耗时和专业的工作。第三种是深度学习方法。深度神经网络模型的优点是可以自动地从数据中学习文本特征或表示形式，而无需预先仔细设计特征。并且在捕获方面和上下文单词之间语义关系的扩展性上，他们比基于机器学习的方法更强。在情感分析方面，研究人员提出了各种深度神经网络模型。这些模型可以获得稠密的、低维的词嵌入，从而产生更好的句子表示。下面将详细介绍基于方面情感分析的深度学习模型。

在情感分析领域中，长短期记忆网络(LSTM)已经得到了广泛的应用。该模型擅长对自然语言建模，很好地解决了自然语言句子向量化的难题。LSTM是循环神经网络(RNN)的一种变体，其包含了输入门、输出门、遗忘门和细胞状态，解决了RNN中长序列依赖问题。但是，在解决基于方面的情感分析任务时，标准的LSTM模型以顺序的方式工作，并使用相同的操作获取每个上下文单词的向量，因此它不能显式地捕捉每个上下文单词的重要性。同时该模型还面临的一个问题是：当它捕捉到一个远离目标的情感特征后，它需要一个字一个字地传播给目标，在这种情况下，它可能会失去这个特征。