[发明专利]基于BERT和多层注意力机制的方面级情感分类方法

说明书

本发明公开了一种基于BERT和多层注意力机制的方面级情感分类方法，包括以下步骤：S1、对训练语料进行预处理；S2、建立基于多层attention的方面级别情感分类模型；S3、使用训练好的分类模型对待预测的数据进行情感分类。本发明使用多层Attention机制，充分挖掘aspcet词与DataContext词的相关性，能够有效提高方面级情感分类的精度。

技术领域

本发明涉及一种基于BERT和多层注意力机制的方面级情感分类方法。

背景技术

随着社交网络和电商平台的兴起与发展，人们更喜欢在网上发表自己的评论，例如在京东、淘宝上对商品的评价，美团、饿了吗上对食品的评价，这些评价信息对于商家具有宝贵的价值。一条评论中可能包含对多个方面的评价，如何快速得到方面词的情感极性，成为目前自然语言处理领域的一个重要研究方向。

目前主要有以下两种处理方法：

1、基于传统机器学习的方法，例如支持向量机(SVM)、logistic回归，是通过提取依赖于语料库实现方面的特征提取，需要人工针对数据设计特征，模型的质量取决于特征设计的质量。而且这类方法并没有考虑单词的语义信息及上下文信息，还会造成数据维度灾难，准确性也不高。

2、基于深度学习的方法，这类方法将深度学习，例如全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等应用到方面级情感分类中。使用深度学习的方法弥补了传统机器学习方法的缺点，比如：不需要人工设计特征。但这些方法未能充分提取语义信息。另外注意力机制(Attention)在方面级情感分析中也得到了广泛应用，取得了不错的效果，但对于具有多个单词组成的方面(Aspect)词，Aspect词中的不同单词对于结果的贡献也是不一样的，而这类方法却忽略了这一点。

现有技术主要存在以下缺点：

(1)基于传统机器学习的方法需要人工设计复杂的特征，非常耗费时间。

(2)现有的基于深度学习的方法大多采用RNN来提取语义信息，例如：LSTN、CNN，虽然取得了不错的效果，但相比BERT来提取语义信息，还是具有一定的差距。

(3)目前采用Attention机制的模型是计算Aspect整体对于Context词的attention，没有考虑Aspect中单个词对Context词的attention，容易导致信息丢失。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用多层Attention机制，充分挖掘aspcet词与DataContext词的相关性，能够有效提高方面级情感分类的精度的基于BERT和多层注意力机制的方面级情感分类方法。

本发明的目的是通过以下技术方案来实现的：基于BERT和多层注意力机制的方面级情感分类方法，包括以下步骤：

S1、对训练语料进行预处理；

S2、建立基于多层attention的方面级别情感分类模型；

S3、使用训练好的分类模型对待预测的数据进行情感分类。

进一步地，所述步骤S1包括以下子步骤：

S11、从训练语料数据中提取每一条评论中的Aspect词，得到Aspect词集合DataAspect；

S12、从训练语料数据中提取每一个Aspect词对应的一条评论，得到集合DataContext；

S13、统计Aspect词与对应语料的情感极性，1代表积极，0代表中性，-1代表消极，得到标签集合LableSet；