[发明专利]一种基于机器学习的电网设备档案数据纠错方法

说明书

本发明提供一种基于机器学习的电网设备档案数据纠错方法，对现有的大量数据进行处理、挖掘其中隐藏的规律，自动生成判断规则，基于这些规则对数据进行自动诊断，能够大大降低工作难度，可以为数据质量筛查、数据整改、数据治理提供一份重要的依据；本发明利用大数据技术开展数据治理，对大量数据中异常的自动诊断，并为数据的整改提供建议，能够减少数据校验工作对业务人员的强依赖性，对于完全无规则可提炼的分散型数据异常情况，也可以机器学习实现自动处理，避免人力筛查带来的复杂工作量，本发明利用大数据对数据异常问题进行归类分析，提供给数据产生方进行整改，能够从源头上降低数据问题，为数据源头整改提供参考。

技术领域

本发明涉及电网设备数据纠错领域，具体是一种基于机器学习的电网设备档案数据纠错方法。

背景技术

电网生产设备台帐数据是电网生产工作开展的基础，目前各类生产设备台帐数据均存存储在设备(资产)运维精益管理系统(PMS2.0)系统中，总数据量超过60G，涉及到200余种设备，例如：母线、架空线路、开关柜、电容器、变压器、电缆等。

基层班组人员负责对设备数据及时进行更新维护，现场设备运维、检修、检测、试验等各项生产工作均需以设备数据为基础，只有保证设备数据准确性，相关运维检修业务记录才能准确无误登记PMS2.0系统中，为设备状态检修评价和资产全寿命周期管理提供重要依据，也是运维检修精益化管理的重要体现。另外，设备规模是人资定员定编、成本核算的重要依据，因此设备数据准确性尤为重要。

目前电网生产设备台帐数据存在不完整、不准确等问题。设备参数异常不仅影响设备本身档案的管理，同时直接影响到运维检修工作的开展，例如：

1.设备台账关键参数不完整。

2.设备台账数据与GIS图形数据不对应。

3.设备台账参数填写错误。

4.系统中设备台帐数据与现场存在差异。

其中问题3、4无法通过提炼错误规则开发程序来进行错误数据筛查，目前采用人工手段进行核对，每100条数据往往需要投入3人·天的工作量。工作难度大，而且效果欠佳。这些数据问题直接影响日常运维检修工作，不能正常登记运维检修记录，同时也影响营配贯通、同期线损等工作的开展，另外，设备台帐数据异常将导致人资定员定编和运维成本的核算不准确。

发明内容

针对现有技术存在的上述不足，本发明提出一种基于机器学习的电网设备档案数据纠错方法，对现有的大量数据进行处理、挖掘其中隐藏的规律，自动生成判断规则，基于这些规则对数据进行自动诊断，能够大大降低工作难度，可以为数据质量筛查、数据整改、数据治理提供一份重要的依据。

一种基于机器学习的电网设备档案数据纠错方法，包括如下步骤：

第一步：数据抽取，获取训练集：将公司保存的所有电网设备档案数据作为历史数据导入数据库中，将数据库中的历史数据作为训练集F；

第二步：对训练集F进行特征提取，通过字符串拆分的方式得到特征数据集合S＝{s₁,s₂,s₃,...,s_n}；

第三步：手动从特征数据集合S中挑选特征值选择作为特征向量S'，S'＝{s'₁,s'₂,s'₃…,s'_m}，其中

第四步：通过TF-IDF算法对特征向量S'加权，加权方式为特征向量中的特征值s'_m在训练集F中出现的频率，记为N_m，在训练集中每条数据记录包含特征词s'_m的频率为N'_m，那么该特征词s'_m的IDF值为