[发明专利]基于消息总线的数据质量治理系统及方法有效
申请号: | 202011243157.9 | 申请日: | 2020-11-09 |
公开(公告)号: | CN112330164B | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 陶汉涛;王海涛;方玉河;李健;张磊;林卿;陈玥;姜志博;吴大伟;李旺 | 申请(专利权)人: | 国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06;G06Q50/06;G06K9/62;G06N3/00 |
代理公司: | 武汉开元知识产权代理有限公司 42104 | 代理人: | 李满;潘杰 |
地址: | 430074 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 消息 总线 数据 质量 治理 系统 方法 | ||
1.一种基于消息总线的数据质量治理系统,其特征在于:它包括数据接入模块(1)、校验规则构建模块(2)、聚类划分模块(3)、质量评估模块(4)和综合评价模块(5),其中,所述数据接入模块(1)用于通过消息总线接收多个数据发送端的发送的电力监测数据;
校验规则构建模块(2)用于构建数据质量规则校验库;
聚类划分模块(3)用于采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类,从而将电力监测数据划分成多个数据子集;
质量评估模块(4)用于对各个数据子集,分别通过LOF异常值检测算法进行准确性评估得到电力监测数据准确性评估指标,并且,对各个数据子集,分别利用数据质量规则校验库进行电力监测数据完整性评估、电力监测数据一致性评估、电力监测数据可用性评估和电力监测数据实时性评估,得到对应的电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标;
综合评价模块(5)用于通过改进的层次分析法计算电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标的权重,并利用上述各项指标的权重和各项指标评估得分计算电力监测数据质量综合评价结果;
所述采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类具体包括:
进行灰狼算法初始化,根据经验或需求设置群规模和聚类类别数,进行狼群初始化和聚类质心初始化;
初始化,灰狼算法初始化,设置种群规模N、解空间维度n、狼群初始化其中i=1,2,...,N;
适应度评价,分别通过适应度函数计算每只灰狼的适应度,筛选出适应度最小的三个灰狼α、β、δ,其对应位置分别为将输入位置更新单元;
所述灰狼算法的适应度函数为所有的类内距离之和,其中K为聚类类别数,d(Xi,Cj)为第j个聚类类别中每个灰狼对象Xi到其聚类中心点Cj的距离,Cj表示第j个聚类类别的聚类中心点;
位置更新,计算其它灰狼ω到灰狼α、β、δ的距离结合天牛须搜索算法中的触角气味搜索的方式进行灰狼个体位置更新:
其中,表示灰狼的位置向量,为第t+1次迭代时灰狼个体更新位置,与均为系数向量,均为[0,1]中均匀分布的随机向量,a=a1(1-t/tmax),t为当前迭代次数,t=1,2,…,tmax,a1为常数,a1∈[0,2],tmax为最大迭代次数;的取值范围为-2a~2a,表示第t次迭代时灰狼α的位置,表示第t次迭代时灰狼β的位置,表示第t次迭代时灰狼δ的位置;
表示天牛须搜索的n维随机单位向量,分别为左侧、右侧天牛须搜索区域的位置,相当于天牛位置;δt是搜索步长,用于调整收敛速度,是迭代次数t的递减函数;sign()表示符号函数,f为适应度函数,d为两须之间的距离的一半;
为第t+1次迭代时除头狼外的其它灰狼的位置,分别为位置更新后头狼位置;
根据灰狼个体位置更新结果重新进行适应度计算,进行迭代运算,直至达到最大迭代次数,输出作为优化后的聚类质心,根据聚类质心对电力监测数据聚类。
2.根据权利要求1所述的基于消息总线的数据质量治理系统,其特征在于:所述校验规则构建模块(2)还用于确定电力监测数据质量评估指标,所述电力监测数据质量评估指标包括电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司,未经国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011243157.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种方便清理的用于日常生活的稳定捣蒜器
- 下一篇:一种表面喷涂剂的灌装装置
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置