[发明专利]基于配网自动化终端文本分类模型的文本分类方法

权利要求书

1.基于配网自动化终端文本分类模型的文本分类方法，其特征在于，所述方法包括：

步骤1、构建分层综合上下文建模网络模型，所述网络模型包括输入集成模块、TCN残差模块、自我注意层和输出层；

步骤2、对电力缺陷文本数据集进行预处理，将原始中文文本转换为预设的输入格式；

步骤3、在输入集成模块中进行提取上下文信息与原始输入集成的处理；

步骤4、处理后的信息以自我注意层作为输入进入TCN模块，提取时间特征和其他长期历史信息；

步骤5、在输出层处理中提取的综合上下文信息，预测相应的标签。

2.根据权利要求1所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，步骤2包括：

借助电力设备故障词典对电力缺陷文本数据进行分词，将连续的字序列按照一定的规范重新组合成词序列；

将无法表征电力设备缺陷严重程度的词作为停用词在分词之后从缺陷文本中剔除；

在预处理后的语料内的词间以下划线作为分隔。

3.根据权利要求1所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，所述步骤3包括：

输入集成模块由具有相同参数的两层LSTM组成，一层具有整流线性单元以及添加操作模块；

电力缺陷文本数据经过两层LSTM处理，使用ReLU激活函数，提取上下文信息；

上下文信息与原始输入在添加模块中进行集成。

4.根据权利要求3所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，所述步骤3还包括：

LSTM网络用于提取原始输入的上下文和序列特征；

ReLU激活函数用于使网络添加非线性因素，增强模型的表达能力；

LSTM处理的原始输入与输出的集成结果包括更丰富的提取上下文信息和原始信息，原始输入与输出之间的关系如下所示：

O_a＝x+L(x,W) (1)

公式(1)中，x为原始输入，L为处理方法，W为相应的权重，O_a为输入集成模块的输出。

5.根据权利要求1所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，步骤4包括：

TCN模块由4个TCN残差模块与多层自我关注机制组成；

输入集成模块处理后的信息以自我注意层作为输入进入TCN残差模块；

输出值与残差块合并，作为下一个TCN残差块的输入，提取时间特征和其他藏起的历史信息。

6.根据权利要求5所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，包括：

残差模块：由4个串联起来的TCN残差块组成，处理输入集成模块的输出并从中提取重要的本地信息和时间特征，输出过程表示为：

公式(2)中，O_b表示TCN残差模块的输出结果，G表示残留块的处理输出函数，∏表示复合函数，i表示第i个剩余块，总共有4个模块；

自我关注机制：

使用Vaswani等人的自我注意层来连接每个TCN残差块，并将自我注意层的输出值与残差块合并，作为下一个受关注块的输入；

TCN残差模块融合自我关注层体系结构：

一个TCN残差块的输出通过三个线性变换函数转换为Q(索引)、K(键)和V(值)三种向量；首先需要计算相似度，Similarity介于Q和K之间，计算式为：

Similarity(Q,K)＝Q×K^T (3)

公式(3)中,×表示矩阵乘法，K^T表示向量K的转置，为了避免结果过大，将相似度Similarity(Q,K)除以比例因子其中m是来自索引向量或键向量的维数；然后通过SoftMax运算将结果归一化为概率分布，乘以矩阵V以得到权重之和的表示，计算式为：

最后，使用残差连接将自我注意层的加权输出与该块合并成为下一个TCN块的输入。

7.根据权利要求1所述的基于配网自动化终端文本分类模型的文本分类方法，其特征在于，步骤5包括：

输出层包括线性映射层和SoftMax分类器；

TCN模块的输出进入线性映射层进行处理；

将处理结果输入SoftMax分类器，输出最终的分类结果。