[发明专利]基于配网自动化终端文本分类模型的文本分类方法

说明书

本发明涉及基于配网自动化终端文本分类模型的文本分类方法，包括收集电力缺陷文本数据，对数据集进行数据清理和文本分割；然后将长短期记忆网络(LSTM)网络与时间卷积网络(TCN)相结合，配合残差和注意力机制连接，建立了一种分层综合上下文网络结构，从缺陷文本中分层提取深层上下文信息，长期历史信息和更全面的时间特征。与其他神经网络分类模型相比，本文所提出的模型具有良好的文本分类能力和泛化能力，能够提升配网终端调试的智能化水平。

技术领域

本发明涉及自然语言处理领域，尤其是涉及基于先进机制的神经网络文本分类模型。

背景技术

随着电力大数据应用和电力信息化管理的不断深入，数据资产的有效利用关系到电网可靠的运行。在电力企业日常运维过程中，保留了大量配网终端调试作业文本，包括联调日期、设备类型、故障内容和消缺时间等信息，是影响电力系统安全稳定运行的重要指标。然而，这些历史文本数据录入到Open5200 系统后往往处于闲置状态。另外，对故障内容进行人工分类存在人为因素的干扰。因此，配网规程历史操作文本的自动分类技术研究是科学管理电力设备的前沿领域。

文本分类是自然语言处理领域中重要的组成部分。近年来，一些基于深度学习的方法已用于文本分类，例如卷积神经网络(CNN)和长短期记忆(LSTM) 网络，也有研究人员结合CNN与LSTM来解决文本分类问题。但是，对中文文本进行分类不能照搬英文分类模型，将其应用于电力领域专业文本分类更为困难。针对电力专业文本的分类处理，国外已有利用传统机器学习分类模型对历史故障事件和天气数据等进行变电站预测，以及通过故障工单等进行组件和系统故障风险预测的相关研究；国内也有学者将CNN和LSTM运用到电力设备缺陷文本的分类任务中。CNN和LSTM的结构在文本分类任务上各有优势，但电力设备缺陷文本专业性强，现有方法在较长序列中提取深度信息和历史信息的效率较低且不完整，在分类准度上有所欠缺。因此，亟需一种分类准确度和分类效率高的文本分类模型进行文本分类的操作。

发明内容

基于此，为了提高电力设备缺陷文本分类器的分类效率，本发明提出了基于先进机制的神经网络文本分类模型，能够层次地提取深层而重要的上下文信息，充分利用联调记录的历史信息，提高文本分类的精确度和智能性。

为了实现上述发明目的，本发明实施例提供了以下技术方案。

基于配网自动化终端文本分类模型的文本分类方法，所述方法包括：

步骤1、构建分层综合上下文建模网络模型，所述网络模型包括输入集成模块、TCN残差模块、自我注意层和输出层；

步骤2、对电力缺陷文本数据集进行预处理，将原始中文文本转换为预设的输入格式；

步骤3、在输入集成模块中进行提取上下文信息与原始输入集成的处理；

步骤4、处理后的信息以自我注意层作为输入进入TCN模块，提取时间特征和其他长期历史信息；

步骤5、在输出层处理中提取的综合上下文信息，预测相应的标签。

可选的，步骤2包括：

借助电力设备故障词典对电力缺陷文本数据进行分词，将连续的字序列按照一定的规范重新组合成词序列；

将无法表征电力设备缺陷严重程度的词作为停用词在分词之后从缺陷文本中剔除；

在预处理后的语料内的词间以下划线作为分隔。

可选的，所述步骤3包括：

输入集成模块由具有相同参数的两层LSTM组成，一层具有整流线性单元以及添加操作模块；

电力缺陷文本数据经过两层LSTM处理，使用ReLU激活函数，提取上下文信息；

上下文信息与原始输入在添加模块中进行集成。