[发明专利]基于HD-MSCNN的层次结构文本自动分类方法

权利要求书

1.基于HD-MSCNN的层次结构文本自动分类方法，其特征在于，该方法包括文本自动分类框架，其包括以下几部分：

(1)局部共享层：采用局部共享信息分类策略，每个分类器都有一个该分类范围内独有的共享层，局部共享信息通过学习兄弟节点间的类别描述信息来促进模型的分类性能，若输入的文本矩阵为n，类别描述信息为f:则共享层的输出为：

式中，i为兄弟节点的编号，m为兄弟节点的数量，R()表示残差网络；通过局部共享层可将兄弟节点间的结构信息融入分类框架中；

(2)粗粒度分类器C；

(3)细粒度层分类器F_k：采用交叉的分类策略，在细粒度分类器F_k中添加更多的类别，使HD-MSCNN更少地依赖于粗类别分类器C，通过建立相似度系数来评价细粒度层类别j被错分到k类的程度，相似度系数具体为：

式中，表示细粒度层类别j的所有样本，表示非交叉分类策略下文本对象i被错分到k类的概率；设置阈值u_t，当时，将j类添加到粗粒度类别k类中；

(4)概率平均层：可用如下公式表示：

p(y_i＝j|x_i)＝B_ikp_k(y_i＝j|x_i)

式中，B_ik为文本分类信息对象x_i被粗粒度分类器分到k类的概率，p_k(y_i＝j|x_i)表示文本分类信息对象x_i被细粒度分类器分到j类的概率，p(y_i＝j|x_i)表示属于j类的概率；设置阈值t，当时，概率平均层仅根据细粒度层的分类结果p_k(y_i＝j|x_i)进行选择；而当时，根据粗粒度分类器预测结果，选择的多个粗粒度类别，进行细粒度层预测，根据p(y_i＝j|x_i)进行排序综合选择；

空洞卷积F在序列信息s元素上的操作可表示为：

式中，X∈Rⁿ表示一维序列信息，*_d表示带膨胀系数的卷积运算，f:{0,...，k-1}→R为一个接收域，q为卷积核大小，g(f(n),d)表示卷积核的扩张，X_S表示序列信息X中的s元素；

残差网络中的残差块包括残差函数G和恒等映射两部分，残差函数G为对输入的一系列变换，恒等映射则为上一层的输出，残差块的输出可表示为：

o＝Activation(x+G(x))

式中：x代表上一层的输出，G(x)代表输入的一系列变换；

将有效的学习修改恒等映射层，使网络的层数加深时保持网络的性能维持在最高水平而不下降；

还包括扩展槽机制，通过在全连接层和Softmax层空出冗余位的方式来提高模型的可扩展性，当有新类别加入时，则启用空余位置并加入新类别的数据进行重新训练，即可快速得到支持新类别的模型。

2.根据权利要求1所述的基于HD-MSCNN的层次结构文本自动分类方法，其特征在于，采用基于深度学习的多尺度卷积神经网络MSCNN算法来构建分类器。

3.根据权利要求2所述的基于HD-MSCNN的层次结构文本自动分类方法，其特征在于，基于MSCNN算法的分类器包括空洞卷积、残差网络、分类特征提取层三种网络结构。

4.根据权利要求3所述的基于HD-MSCNN的层次结构文本自动分类方法，其特征在于，每一层残差网络包含两层空洞卷积、两层非线性激活函数和两层dropout层，并使用weightnormalization技术来定义MSCNN卷积核的权重，使用Batch Normalization层来归一化每层输出的特征向量。