[发明专利]一种基于机器学习的电网设备档案数据纠错方法在审

专利信息
申请号: 201811187606.5 申请日: 2018-10-12
公开(公告)号: CN109472293A 公开(公告)日: 2019-03-15
发明(设计)人: 龙婧;刘伟;徐文峰 申请(专利权)人: 国家电网有限公司;湖北华中电力科技开发有限责任公司
主分类号: G06K9/62 分类号: G06K9/62;G06Q10/00;G06Q50/06
代理公司: 武汉楚天专利事务所 42113 代理人: 孔敏
地址: 100031 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明提供一种基于机器学习的电网设备档案数据纠错方法,对现有的大量数据进行处理、挖掘其中隐藏的规律,自动生成判断规则,基于这些规则对数据进行自动诊断,能够大大降低工作难度,可以为数据质量筛查、数据整改、数据治理提供一份重要的依据;本发明利用大数据技术开展数据治理,对大量数据中异常的自动诊断,并为数据的整改提供建议,能够减少数据校验工作对业务人员的强依赖性,对于完全无规则可提炼的分散型数据异常情况,也可以机器学习实现自动处理,避免人力筛查带来的复杂工作量,本发明利用大数据对数据异常问题进行归类分析,提供给数据产生方进行整改,能够从源头上降低数据问题,为数据源头整改提供参考。
搜索关键词: 档案数据 电网设备 基于机器 数据异常 数据治理 自动诊断 大数据 筛查 纠错 工作难度 机器学习 判断规则 数据产生 数据问题 数据校验 自动处理 自动生成 分散型 无规则 归类 源头 工作量 提炼 参考 学习 挖掘 分析
【主权项】:
1.一种基于机器学习的电网设备档案数据纠错方法,其特征在于包括如下步骤:第一步:数据抽取,获取训练集:将公司保存的所有电网设备档案数据作为历史数据导入数据库中,将数据库中的历史数据作为训练集F;第二步:对训练集F进行特征提取,通过字符串拆分的方式得到特征数据集合S={s1,s2,s3,...,sn};第三步:手动从特征数据集合S中挑选特征值选择作为特征向量S',S'={s′1,s′2,s′3…,s′m},其中第四步:通过TF‑IDF算法对特征向量S'加权,加权方式为特征向量中的特征值s'm在训练集F中出现的频率,记为Nm,在训练集中每条数据记录包含特征词s'm的频率为N'm,那么该特征词s'm的IDF值为因此该特征词的权重ωm可以表示为ωm=Nm*IDF(s'm),通过这种方式对特征向量S'中的每一个特征词进行计算权重,得到权重向量ω;第五步:通过第三步和第四步选中的特征向量和得到的特征向量的权重,对原始数据通过分布式K‑Means算法进行聚类,最终将训练集F分为k个类;第六步:针对第五步得到的聚类结果,人工验证聚类中的数据,将异常数据和误判数据选出,验证每个类中的数据误判的情况,得到数据验证的准确率,对所有的类中的准确率求取平均值,得到模型的准确率,然后判断模型准确率是否达到预期的阈值,如果没有则转到第三步,重新选择特征值、特征向量、确定权重,直到准确率达到预期的阈值;第七步:模型确定后,在使用阶段将数据聚类,然后将每一类的异常数据返回给用户,并且将正常数据推荐给用户,由用户参考修改。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家电网有限公司;湖北华中电力科技开发有限责任公司,未经国家电网有限公司;湖北华中电力科技开发有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201811187606.5/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top