[发明专利]一种数据一致性检测方法有效
申请号: | 202010042892.7 | 申请日: | 2020-01-15 |
公开(公告)号: | CN111259027B | 公开(公告)日: | 2023-01-17 |
发明(设计)人: | 李培军;许舒人;魏克刚;田申;罗剑刚;颜复海 | 申请(专利权)人: | 中国科学院软件研究所 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/215;G06F16/27 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 司立彬 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据一致性 检测 方法 | ||
1.一种数据一致性检测方法,其步骤包括:
1)根据分布式数据库或者不同数据源之间数据的关联关系和一致性约束条件,构建用于一致性检测的数据关系模型图;其中,所述数据关系模型图包括数据实体节点DataEntityNode、分类标签ClassifyLabel、节点一致性检测规则DetectionRule和数据实体链接关系Relationship;构建所述数据关系模型图的方法为:首先对待检测数据从业务和数据交互角度抽象出一系列的数据实体节点DataEntityNode,并为每一个数据实体节点指定一个分类标签ClassifyLabel;然后根据各数据实体节点之间的关联关系或依赖关系,构建数据实体节点之间的数据实体链接关系Relationship;所述数据实体节点DataEntityNode上设置节点一致性检测规则DetectionRule,所述数据实体链接关系Relationship上设置用于两个数据实体节点之间链接一致性检测的链接一致性检测规则RelationRule;
2)基于所述数据关系模型图,在所述分布式数据库进行数据交换时或者所述不同数据源之间进行数据交换时,对交换数据进行一致性检测;所述一致性检测包括数据链接完整性检测、数据依赖性检测和批量数据检测;
所述数据链接完整性检测方法为:首先从需要进行完整性检测的数据实体节点开始,按照所述数据关系模型图的数据实体链接关系Relationship遍历所有数据实体节点DataEntityNode,从数据关系模型图中依次检索得到所有的实体链接关系Relationship和数据实体节点DataEntityNode;然后通过实体链接关系Relationship里的链接一致性检测规则RelationRule检测所链接的数据实体节点是否存在问题;
所述数据依赖性检测方法为:首先是从数据关系模型图中按照链接箭头方向查询得到出当前待检测数据所依赖的数据实体节点和数据实体链接关系,作为一级数据实体节点dataentitynode1和一级数据实体链接关系Relationship1;然后按照一级数据实体链接关系Relationship1中的链接规则RelationRule1检测一级数据实体节点dataentitynode1是否存在问题;然后检索每个一级数据实体节点DataEntityNode1所依赖的数据实体节点和数据实体链接关系作为二级数据实体节点DataEntityNode2和二级数据实体链接关系Relationship2,并按照二级数据实体链接关系Relationship2中的链接规则RelationRule2检测二级数据实体节点是否存在问题;以此类推,逐级执行所有层次依赖节点的检测,直到再没有依赖节点为止;
所述批量数据检测方法为:设起始数据实体节点具有N条数据,先读取起始数据实体节点的数据,通过节点一致性检测规则DetectionRule检测每条数据i本身是否存在一致性问题;然后对该条数据i所链接的数据实体节点和数据实体链接关系,作为一级数据实体节点dataentitynode1和一级数据实体链接关系Relationship1;然后按照一级数据实体链接关系Relationship1中的链接规则RelationRule1检测一级数据实体节点dataentitynode1是否存在问题;如果一级数据实体节点a包含若干条数据,则先从第一条数据开始执行节点一致性检测规则DetectionRule和链接一致性检测规则RelationRule;然后对该一级数据实体节点a所链接的每一个数据实体节点作为二级数据实体节点,根据链接一致性检测规则RelationRule对该一级数据实体节点a与各二级数据实体节点进行一致性检测;如此循环,直到不再有下级链接数据实体节点;然后再对该条数据i所有关联节点所包含数据进行一致性检测。
2.如权利要求1所述的方法,其特征在于,所述数据实体链接关系Relationship具有方向性,方向性用于区分数据之间的引用关系、依赖关系以及数据写入的先后顺序关系。
3.如权利要求1所述的方法,其特征在于,所述节点一致性检测规则DetectionRule包括若干个规则drule,所述规则drule用于定义当前数据实体节点内所包含数据的一致性约束。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所,未经中国科学院软件研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010042892.7/1.html,转载请声明来源钻瓜专利网。