[发明专利]基于消息总线的数据质量治理系统及方法有效

专利信息
申请号: 202011243157.9 申请日: 2020-11-09
公开(公告)号: CN112330164B 公开(公告)日: 2022-06-03
发明(设计)人: 陶汉涛;王海涛;方玉河;李健;张磊;林卿;陈玥;姜志博;吴大伟;李旺 申请(专利权)人: 国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司
主分类号: G06Q10/06 分类号: G06Q10/06;G06Q50/06;G06K9/62;G06N3/00
代理公司: 武汉开元知识产权代理有限公司 42104 代理人: 李满;潘杰
地址: 430074 湖*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 消息 总线 数据 质量 治理 系统 方法
【权利要求书】:

1.一种基于消息总线的数据质量治理系统,其特征在于:它包括数据接入模块(1)、校验规则构建模块(2)、聚类划分模块(3)、质量评估模块(4)和综合评价模块(5),其中,所述数据接入模块(1)用于通过消息总线接收多个数据发送端的发送的电力监测数据;

校验规则构建模块(2)用于构建数据质量规则校验库;

聚类划分模块(3)用于采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类,从而将电力监测数据划分成多个数据子集;

质量评估模块(4)用于对各个数据子集,分别通过LOF异常值检测算法进行准确性评估得到电力监测数据准确性评估指标,并且,对各个数据子集,分别利用数据质量规则校验库进行电力监测数据完整性评估、电力监测数据一致性评估、电力监测数据可用性评估和电力监测数据实时性评估,得到对应的电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标;

综合评价模块(5)用于通过改进的层次分析法计算电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标的权重,并利用上述各项指标的权重和各项指标评估得分计算电力监测数据质量综合评价结果;

所述采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类具体包括:

进行灰狼算法初始化,根据经验或需求设置群规模和聚类类别数,进行狼群初始化和聚类质心初始化;

初始化,灰狼算法初始化,设置种群规模N、解空间维度n、狼群初始化其中i=1,2,...,N;

适应度评价,分别通过适应度函数计算每只灰狼的适应度,筛选出适应度最小的三个灰狼α、β、δ,其对应位置分别为将输入位置更新单元;

所述灰狼算法的适应度函数为所有的类内距离之和,其中K为聚类类别数,d(Xi,Cj)为第j个聚类类别中每个灰狼对象Xi到其聚类中心点Cj的距离,Cj表示第j个聚类类别的聚类中心点;

位置更新,计算其它灰狼ω到灰狼α、β、δ的距离结合天牛须搜索算法中的触角气味搜索的方式进行灰狼个体位置更新:

其中,表示灰狼的位置向量,为第t+1次迭代时灰狼个体更新位置,与均为系数向量,均为[0,1]中均匀分布的随机向量,a=a1(1-t/tmax),t为当前迭代次数,t=1,2,…,tmax,a1为常数,a1∈[0,2],tmax为最大迭代次数;的取值范围为-2a~2a,表示第t次迭代时灰狼α的位置,表示第t次迭代时灰狼β的位置,表示第t次迭代时灰狼δ的位置;

表示天牛须搜索的n维随机单位向量,分别为左侧、右侧天牛须搜索区域的位置,相当于天牛位置;δt是搜索步长,用于调整收敛速度,是迭代次数t的递减函数;sign()表示符号函数,f为适应度函数,d为两须之间的距离的一半;

为第t+1次迭代时除头狼外的其它灰狼的位置,分别为位置更新后头狼位置;

根据灰狼个体位置更新结果重新进行适应度计算,进行迭代运算,直至达到最大迭代次数,输出作为优化后的聚类质心,根据聚类质心对电力监测数据聚类。

2.根据权利要求1所述的基于消息总线的数据质量治理系统,其特征在于:所述校验规则构建模块(2)还用于确定电力监测数据质量评估指标,所述电力监测数据质量评估指标包括电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司,未经国网电力科学研究院武汉南瑞有限责任公司;南瑞集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011243157.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top