[发明专利]一种基于胶囊网络的情感分类方法

说明书

本发明涉及一种基于胶囊网络的情感分类方法，包括以下步骤：文本预处理；建立融合权重的FuBERT模型；针对情感分类任务，选用BERT Base模型,通过softmax训练权重的方式为12层BERT的每一层都赋予一个权重，用以保留各层对文本有用的信息，输出词向量；建立基于双向门控循环单元GRU的胶囊网络模型，以步骤二中的词向量输出作为输入，用胶囊网络进行情感分类，该模型依次分为五层，分别为：N‑gram卷积层、双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层；步骤四，最终分类。

技术领域

本发明涉及自然语言处理的情感分类领域，具体是涉及一种在预训练语言模型下，利 用动态融合BERT多层表示的权重联合改进的胶囊网络对现有数据进行训练学习从而实现 情感分类的方法。

背景技术

随着互联网用户的逐渐增多，各种网络平台的信息量也越来越大，处理大量可用信息是 一项超出人类处理能力的艰巨任务。这些信息具有巨大价值，所以一个高效的情感分类算法 具有一定的理论意义与应用价值。然而，虽然在英语情感分析方面已经有人做了大量的工作， 但在中文领域的研究却很少。另外在可解释性和上下文关系以及一词多义方面，情感分析还 存在相当大的挑战。

由于BERT网络可以捕捉语言结构信息，但其仅仅使用其最后一个编码层的输出特征用 于分类，忽略了其他层学习到的语义特征。胶囊网络(CapsNet)是对卷积神经网络的一种 改进，克服了CNN空间不敏感的缺点，并且可以捕捉单词的位置信息。

发明内容

本发明的目的是提供一种高效解决文本情感分析的方法，应用于社交媒体情感分来。本 发明利用改进的谷歌BERT模型的表示结合胶囊网络来进行情感分析，该方法采用融合 BERT12层权重信息的模型预训练的方法，充分利用了BERT表示词嵌入作为胶囊网络的输 入，然后再利用胶囊网络对句子进行分类。本发明的技术方案如下：

一种基于胶囊网络的情感分类方法，包括以下步骤：

步骤一，文本预处理

1)过滤带有特殊符号的内容。

2)过滤微博文本中的无效字符。

步骤二，建立融合权重的FuBERT模型，用于词向量表示

针对情感分类任务，选用12层的BERT Base模型，把输入序列通过BERT分别生成1-12 层的嵌入表示，其中这些嵌入中：1-4层代表低层的短语级别的嵌入信息；5-8层代表中层句 法级别的嵌入信息；9-12层代表高层的语义级别的嵌入信息；通过softmax训练权重的方式 为12层BERT的每一层都赋予一个权重，用以保留各层对文本有用的信息，输出词向量；

步骤三，建立基于双向门控循环单元GRU的胶囊网络模型，用于提取特征

以步骤二中的词向量输出作为输入，用胶囊网络进行情感分类，该模型依次分为五层， 分别为：N-gram卷积层、双向GRU层、主胶囊层、卷积胶囊层、全连接胶囊层：

N-gram卷积层：从FuBERT模型中获得的词向量表示首先通过这一层，用来提取和学 习抽象特征。

双向GRU层：将N-gram卷积层的输出继续分析，捕获特定短语中的上下文，以学习文本中的长期依赖关系。

主胶囊层：由前两层生成的语义和上下文相关的特征通过主胶囊层的卷积操作将实例化 的部分集中分割，利用向量而摒弃标量来保留属于每个特征的实例化参数，捕获文本中单词 的局部排序以及相应的语义表示。

卷积胶囊层：为了减小参数量继续提取主胶囊层输出的特征。每个胶囊仅在空间上连接 到下面层中的局部区域，然后按协议路由算法来学习子胶囊和父胶囊的关系。