[发明专利]融入多尺度特征注意力的胶囊神经网络及文本分类方法

说明书

本发明提供一种融入多尺度特征注意力的胶囊神经网络及文本分类方法，网络包括双向循环层，多尺度特征注意力层，部分连接胶囊层，类别胶囊层；多尺度特征注意力层用于将双向循环层发送的目标文本全局特征表示经过卷积窗口进行卷积操作得到多元语法特征，并对每个单词在不同尺度下的多元语法特征加权；部分连接胶囊层包括子胶囊单元与父胶囊单元，子胶囊单元接收经加权后的多元语法特征，并将信息通过路由方法路由传递到父胶囊单元，最终得到父胶囊的特征表示；类别胶囊层用于表述目标文本属于一个类别中的概率。该网络通过不同尺度的多元特征之间的注意力来精确捕获文本的多元语法特征，并避免了采用多个相似的完全胶囊层而导致的参数规模的增加。

技术领域

本发明属于文本挖掘的文本分类技术领域，具体涉及一种融入多尺度特征注意力的胶囊神经网络及文本分类方法。

背景技术

文本分类属于文本挖掘应用中的一个重要组成部分，包括问题分类、情感分析和主题分类等。现在很多主流文本分类模型一般是基于卷积神经网络(CNN)、循环神经网络(RNN)和Transformer；Kim首次提出通过多个卷积核来对句子进行编码以达到对文本分类的目的，随后各种基于CNN的模型开始出现在文本分类任务中。

目前的在文本分类领域基于CNN的研究工作已趋于成熟，但仍存在问题：比如Yang等人通过平均池化利用了文本多个尺度的多元语法特征，但是特征的融合方式却十分不合理，其忽视了文本内部单词所对应的各个尺度语法特征并不应该是同等重要，而应该是由具体的上下文决定的这一问题，并还无形之中将模型的参数规模扩大成了原来的3倍；Zheng等人提出的Capsnets(胶囊神经网络)模型只利用了文本的二元语法特征，直接忽视了文本内部还可能存在的其他多元语法特征；可以看出，现有的基于CapsNets的研究工作都不能很好的捕捉丰富的多元语法特征，这直接影响到模型对于整个文本的理解，只有当最重要的多元语法特征被精确提取到的时候，模型才能在考虑具体上下文的基础上正确地理解到单词的意思。

在胶囊神经网络中，子胶囊与父胶囊之间的信息交流也是一个重点研究方法，在常用的路由算法中，子胶囊中的信息将会被路由到每一个父胶囊，这种方式同时也会将子胶囊中的一些冗余信息传递到父胶囊，造成数据过大、系统负担加重。

发明内容

有鉴于此，本发明的目的之一在于提供一种融入多尺度特征注意力的胶囊神经网络，该网络能精确捕获文本的多元语法特征。

为实现上述目的，本发明的技术方案为：包括双向循环层，多尺度特征注意力层，部分连接胶囊层，类别胶囊层；其中，

所述双向循环层还包括有RNN编码器，用于接收目标文本的单词向量序列，并通过RNN编码器得到目标文本的每个单词对应的前后上下文的特征表示，目标文本的所有单词对应的前后上下文的特征表示构成目标文本的全局特征表示；

所述多尺度特征注意力层，与所述双向循环层相连，用于将接收的目标文本全局特征表示经过卷积窗口得到多元语法特征，并对每个单词在不同尺度下的多元语法特征加权；

所述部分连接胶囊层，与所述多尺度特征注意力层相连，包括子胶囊单元与父胶囊单元，所述子胶囊单元接收经加权后的多元语法特征，并将信息通过路由传递到父胶囊单元，最终得到父胶囊的特征表示；

所述类别胶囊层与所述部分连接胶囊层相连，包括至少2个类别胶囊，每一个类别胶囊对应一个类别，用于表述目标文本属于一个类别中的概率。

进一步地，所述多尺度特征注意力层包括：卷积网络单元、卷积特征聚合单元、尺度特征加权单元；

所述卷积网络单元接收所述双向循环层发送的目标文本的全局特征表示，并通过多个卷积窗口得到目标文本的语法特征表示；

所述卷积特征聚合单元与所述卷积网络单元相连，用于将目标文本的语法特征表示用卷积核生成对应的标量表示；