[发明专利]一种对质量较差电网设备缺陷文本的质量提升方法

摘要

本发明提出了一种对质量较差电网缺陷文本的质量提升方法。本发明首先，针对历史缺陷文本中质量较差的文本，利用中文文本相似度计算中的潜在狄利克雷分布模型，结合国家电网公司的输变电一次设备缺陷分类标准，进行修正以提升质量；然后，针对新录入文本，利用文本质量检测方法进行质量问题提示，利用词向量映射方法给出修正建议，保证新录入缺陷文本的质量。最后，结合实例对修正前后的缺陷文本进行质量对比，对修正前后的缺陷文本利用机器学习和深度学习分类方法进行按缺陷等级的分类，验证对质量较差缺陷文本质量提升方法的有效性。本发明从源头上规范了缺陷文本、保证了缺陷文本的质量，为缺陷文本挖掘提供了更为可靠准确的文本数据。

主权项

1.一种对质量较差电网设备缺陷文本的质量提升方法，其特征在于该方法包括以下步骤：步骤1.利用自然语言处理领域的中文文本相似度计算方法，对国家电网公司输变电一次设备缺陷分类标准(简称“标准”)和实际历史缺陷文本进行处理，生成“分类标准‑主题”矩阵和“缺陷文本‑主题”矩阵，具体是：(1)对标准和实际缺陷文本进行分词和去除停用词的预处理，然后生成“词语‑缺陷文本”矩阵和“词语‑标准”矩阵，矩阵中的行向量即为缺陷文本向量和标准向量，矩阵中的不同列代表不同词语；(2)利用潜在狄利克雷分布(Latent Dirichlet Allocation,LDA)模型对采用上述词语加权方式得到的“词语‑标准”矩阵进行降维，生成“标准‑主题”矩阵Z，再按标准的缺陷等级“危急、严重、一般”，生成三个“分类标准‑主题”矩阵Z1,Z2,Z3；Z,Z1,Z2,Z3的列向量即为标准语句对应的标准向量；对历史缺陷文本，利用生成矩阵Z,Z1,Z2,Z3时已经确定的LDA模型参数，以及历史缺陷文本的缺陷等级，对“词语‑缺陷文本”矩阵降维，生成历史缺陷文本向量q及分类历史缺陷文本向量q1(或q2、q3)，不同的历史缺陷文本向量构成“缺陷文本‑主题”矩阵；步骤2.将缺陷文本按缺陷等级分类，利用步骤1对质量较差的历史缺陷文本进行修正，具体是：(1)采用JS距离计算缺陷文本向量q和矩阵Z中标准向量间的相似度，找出相似度最高标准向量，进而判断实际缺陷文本和标准的语义相似程度；(2)通过判断实际缺陷文本和标准的相似度是否大于0.6、质量评分s是否大于70分，以及实际缺陷文本的缺陷等级和最相似的标准的缺陷等级是否一致，对历史缺陷文本中可能存在的缺陷等级与缺陷描述不匹配的问题加以修正；(3)对于具有保证正确性的缺陷等级的缺陷文本，同样利用上述判断指标，在矩阵Z1,Z2,Z3中找出和分类历史缺陷文本向量q1或q2、q3最相似的标准向量，利用标准向量对应的标准文本对质量较差的历史缺陷文本进行修正；步骤3.利用深度学习领域的一种文本表示模型——词向量映射模型，结合由缺陷文本质量评价方法得到的缺陷文本在不同指标上的得分，给出一条新录入缺陷文本的具体修正建议，具体如下：(1)首先根据新录入缺陷文本在不同评价指标上的得分判断出其在缺陷描述或是设备分层上的问题；(2)对于不够完整和冗余的问题根据步骤2进行修正，对于设备分层不够精确的问题，利用词向量映射模型生成设备分层中不同词语的词向量，根据已存在的词，利用余弦相似度求出最可能缺少的词语，作为补全设备分层的修正建议；步骤4.对实际电网设备缺陷文本中质量较差的文本进行质量提升，对修正前后的缺陷文本进行比较，并利用机器学习和深度学习中已有的不同文本分类方法对缺陷文本按缺陷等级进行分类，通过修正前后质量检测结果和分类准确率验证质量提升方法的有效性。