[发明专利]一种基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法

权利要求书

1.一种基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于，所述分类方法包括如下步骤：

S1、数据预处理及构建数据集；

S2、对数据集中的训练集进行简单数据增广处理，形成最终数据集；

S3、对最终数据集中的同一批次每条样本分词处理为token序列，并以‘[CLS]’标识开头表示每句话的起始，‘[SEP]’标识结尾表示每句话的结尾；

S4、构建SKEP-ERNIE-BiGRU网络模型结构；

S5、SKEP-ERNIE-BiGRU模型训练及参数调优，得到最优模型；

S6、将测试集数据输入到最优模型中，输出情感分类。

2.根据权利要求1所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述步骤S1的数据预处理包括：对原始数据文本对应情绪标签，情绪标签分为负向、正向和中性三种，分别对应类别0、类别1、类别2；

对文本中包含的emoji表情进行转义处理，将其转换为文本描述，增强原始文本的情感特征；

将等同于停用词一类的无用信息进行数据清洗，并将每条样本中大写字母全部转换为小写，降低模型的学习成本；

所述步骤S1的构建数据集是指：将数据按8：2的比例进行划分训练集和测试集。

3.根据权利要求1所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述简单数据增广处理具体包括：对训练集数据每条样本中部分随机单词进行同义词替换、插入同义词、删除单词、交换单词位置，同时删除每条样本中所有标点符号。

4.根据权利要求1所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述步骤S3中同一批次样本长度需一致，取送入模型的每一个批次中的最大样本长度为阈值，对于不足该长度的样本，在右侧进行填充。

5.根据权利要求1所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述SKEP-ERNIE-BiGRU网络模型结构包括基于SKEP-ERNIE预训练模型的输入层、基于BiGRU的特征提取层、以及由Dense层和Softmax层组成的分类输出层；

所述SKEP-ERNIE预训练模型具体是：将情感知识增强预训练SKEP与预训练语言模型ERNIE2.0相结合，加载ERNIE2.0预训练模型的权重后再次进行情感知识增强预训练的模型；

所述ERNIE2.0构建了三种类型的无监督学习任务：对句子中词汇进行预测的词法层任务、对多个句子进行结构重建的语法层任务、判断句子间存在逻辑关系的语义层任务；

所述BiGRU是由两个单向且方向相反的GRU组成，输出由两个GRU共同决定，公式表达如下：

6.根据权利要求1所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述步骤S5具体包括如下步骤：

S51、将训练集中经过简单数据增广后的数据输入到SKEP-ERNIE-BiGRU网络模型中；

S52、设置模型参数后进行训练，训练过程中每迭代一次，对模型进行一次性能评价并保存模型参数；

S53、通过迭代进行模型参数调优，得到最优模型。

7.根据权利要求6所述的基于SKEP-ERNIE-BiGRU网络模型结构的情感分类方法，其特征在于：所述的模型参数包括：简单数据增广次数、简单数据增广比例、BiGRU层数、BiGRU单元数、学习率、学习率衰退率、批处理大小、批样本限长、迭代次数；所述性能评价的评价指标包括：精确率、召回率、F值、准确率、宏平均F1值。