[发明专利]一种基于机器学习的电网设备档案数据纠错方法

权利要求书

1.一种基于机器学习的电网设备档案数据纠错方法，其特征在于包括如下步骤：

第一步：数据抽取，获取训练集：将公司保存的所有电网设备档案数据作为历史数据导入数据库中，将数据库中的历史数据作为训练集F；

第二步：对训练集F进行特征提取，通过字符串拆分的方式得到特征数据集合S＝{s₁,s₂,s₃,...,s_n}；

第三步：手动从特征数据集合S中挑选特征值选择作为特征向量S'，S'＝{s′₁,s′₂,s′₃…,s′_m}，其中

第四步：通过TF-IDF算法对特征向量S'加权，加权方式为特征向量中的特征值s'_m在训练集F中出现的频率，记为N_m，在训练集中每条数据记录包含特征词s'_m的频率为N'_m，那么该特征词s'_m的IDF值为

因此该特征词的权重ω_m可以表示为ω_m＝N_m*IDF(s'_m)，通过这种方式对特征向量S'中的每一个特征词进行计算权重，得到权重向量ω；

第五步：通过第三步和第四步选中的特征向量和得到的特征向量的权重，对原始数据通过分布式K-Means算法进行聚类，最终将训练集F分为k个类；

第六步：针对第五步得到的聚类结果，人工验证聚类中的数据，将异常数据和误判数据选出，验证每个类中的数据误判的情况，得到数据验证的准确率，对所有的类中的准确率求取平均值，得到模型的准确率，然后判断模型准确率是否达到预期的阈值，如果没有则转到第三步，重新选择特征值、特征向量、确定权重，直到准确率达到预期的阈值；

第七步：模型确定后，在使用阶段将数据聚类，然后将每一类的异常数据返回给用户，并且将正常数据推荐给用户，由用户参考修改。

2.如权利要求1所述的基于机器学习的电网设备档案数据纠错方法，其特征在于：还包括第八步：模型修正：在用户使用过程中，通过用户的反馈来修正模型的特征值和权重。

3.如权利要求1所述的基于机器学习的电网设备档案数据纠错方法，其特征在于：第五步中聚类算法中k的值根据训练集的样本数量和所有类中的距离和为最小时的k的值确定的，距离计算采用欧式距离计算公式对训练集F中的两条记录i,j的距离进行计算，欧式距离计算公式为