[发明专利]一种基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法

说明书

本发明公开了一种基于SKEP‑ERNIE‑BiGRU网络模型结构的情感分类方法，包括如下步骤：数据预处理及构建数据集；对数据集中的训练集进行简单数据增广处理，形成最终数据集；对最终数据集中的同一批次每条样本分词处理为token序列，并以‘[CLS]’标识开头表示每句话的起始，‘[SEP]’标识结尾表示每句话的结尾；构建SKEP‑ERNIE‑BiGRU网络模型结构；SKEP‑ERNIE‑BiGRU模型训练及参数调优，得到最优模型；将测试集数据输入到最优模型中，输出情感分类。本发明对输入数据进行清洗及emoji表情转义以增强文本情感特征，对每条样本中随机单词进行简单数据增广，使得模型能充分学习语义情感特征。结果表明提出的模型在二元情感分类和三元情感分类上准确率较传统模型分别有4％和12％左右的提升。

技术领域

本发明涉及情感分类技术领域，具体涉及一种基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法。

背景技术

针对建设智慧民航任务，民航局提出从智慧出行、智慧空管、智慧机场、智慧监管四个核心抓起。其中与旅客息息相关的便是智慧出行，除去一些自动化及数字化的升级之外，通过分析旅客的出行感受，进一步提升航空公司服务质量也是一项重要的内容。在出行量递增的今天，对旅客的出行感受数据的获取一大来源便是通过各个官方及第三方订票网站及应用获取旅客对航班、航空公司及机场的实时文本评价，旅客通过评价来反馈自己的各种情绪，包括喜、怒、哀、乐以及批评及赞扬，通过分析旅客的反馈，挖掘出当前服务所存在的缺点及旅客偏好，规划提升服务质量方案，为旅客提供更好的个性化服务。

对文本进行情感分析，其目标是分析出文本中表达或隐含的正向(褒义)、负向(贬义)或中立的情感倾向，从处理文本的细粒度上可以划分为篇章/句子级情感分类、属性级情感分类以及观点三元组抽取三类基本任务，其中篇章/句子级情感分类是十分基础且重要的任务，从宏观上对文本的情感倾向进行分类，有助于进行对负向言论有针对性的属性级的情感分析及观点三元组抽取任务，提出一种有效的篇章/句子级情感分类方法，具有重要的意义。

文本情感分析是自然语言处理领域的一个热门研究方向，是指通过对带有情感色彩的主观性文本进行分析，进而挖掘出其中隐含的情感倾向，并对其情感极性进行分类。目前已有的情感分析方法可以分为基于情感词典、基于传统机器学习以及基于神经网络深度学习的情感分析方法。早期基于情感词典的情感分析方法主要依靠人工构建情感词典，通过与情感词典中情感词进行匹配，获取文本中情感词的权重值，进而加权计算整个文本的情感倾向。基于情感词典的方法虽然能取得一定的成绩，但前期需专家人工定义情感词典，且词典需要实时不断的进行更新，以适应新的词语的出现。模型性能依赖于所构建词典的质量，而且没有考虑词语之间的联系，忽略了上下文语义。针对传统文本情感分类所获取词向量对语义理解不充分且依赖数据质量，以及主流的基于 Transformer的预训练语言模型未考虑文本情感分类中情感知识等问题，亟需一种能提升推文情感分类准确率的新的情感分类方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于 SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，使用基于ERNIE 2.0预训练语言模型的再次情感知识增强预训练(Sentiment knowledge enhanced pre-training,SKEP)的SKEP-ERNIE模型对增强后的数据进行字符编码，同时引入双向门控循环单元(Bi-directional Gate Recurrent Unit,BiGRU)作为预训练模型下游的输出层，通过微调训练以提升词向量在此问题上的表征能力，进而提升推文情感分类准确率解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于SKEP-ERNIE-BiGRU 网络模型结构的情感分类方法，所述分类方法包括如下步骤：

S1、数据预处理及构建数据集；

S2、对数据集中的训练集进行简单数据增广处理，形成最终数据集；