[发明专利]数据一致性检测方法、装置、设备及计算机存储介质在审
申请号: | 201711395044.9 | 申请日: | 2017-12-21 |
公开(公告)号: | CN110019271A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 陈海龙 | 申请(专利权)人: | 中国移动通信集团重庆有限公司;中国移动通信集团公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/174 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 周梅萍 |
地址: | 401121*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 检测 待检测数据 数据组 压缩 计算机存储介质 数据一致性 订阅 交易一致性 一致性检测 订阅关系 动态生成 检测节点 检测系统 建立索引 可扩展性 任务发布 数据分组 数据碎片 索引检索 全流程 数据量 索引 跟踪 转换 分配 记录 发布 | ||
1.一种数据一致性检测方法,其特征在于,包括:
接收待检测数据,将所述待检测数据分为多个数据组;
为所述数据组分配索引;
根据所述索引检索需要进行碎片压缩的所述数据组,对组内数据进行碎片压缩;
根据动态生成的订阅列表将碎片压缩后的所述待检测数据转换为检测任务,并按照订阅关系将所述检测任务发布到相应的检测节点,进行一致性检测。
2.根据权利要求1所述的数据一致性检测方法,其特征在于,所述将所述待检测数据分为多个数据组,具体为:
按照维度将所述待检测数据分为多个原始数据组;并
按照数据进位规则将所述原始数据组拆分为整数数值组和非整数数值组。
3.根据权利要求2所述的数据一致性检测方法,其特征在于,
所述索引包括索引公有段和索引私有段;其中,
所述索引公有段包括以下至少任一项或其组合:交易ID、时间段、业务类别;
所述索引私有段包括以下至少任一项或其组合:数据源类别、时间戳、编号、组内记录数。
4.根据权利要求3所述的数据一致性检测方法,其特征在于,所述根据所述索引检索需要进行碎片压缩的所述数据组,对组内数据进行碎片压缩,具体为:
根据所述索引公有段检索需要进行碎片压缩的所述数据组;
对所述整数数值组内的数据进行累加;
对所述非整数数值组内的数据进行累加,并按照所述数据进位规则将累加结果的整数数值部分累加到所述整数数值组。
5.根据权利要求4所述的数据一致性检测方法,其特征在于,还包括:
根据所述索引查询历史关联数据组,当查询到所述历史关联数据组时,按照索引依赖关系,将所述历史关联数据组中的数据分别累加到相应的所述整数数值组和非整数数值组,并再次进行碎片压缩。
6.根据权利要求1-5任意一项所述的数据一致性检测方法,其特征在于,还包括:
根据所述一致性检测的检测结果,更新所述订阅列表、所述订阅关系和所述检测任务的生命状态及生命周期。
7.根据权利要求6所述的数据一致性检测方法,其特征在于,
所述检测结果包括以下至少任一项:一致但交易未完结、不一致且交易未完结、交易已完结、交易异常;
所述生命状态包括至少任一项:沉默、等待、活跃、失效;
所述生命周期为所述检测任务的存活时间。
8.一种数据一致性检测装置,其特征在于,所述装置包括:
分组模块,用于接收待检测数据,将所述待检测数据分为多个数据组;
索引模块,用于为所述数据组分配索引;
碎片压缩模块,用于根据所述索引检索需要进行碎片压缩的所述数据组,对组内数据进行所述碎片压缩;
一致性检测模块,用于完成整合后,根据订阅列表生成检测任务,并按照订阅关系将所述检测任务发布到相应的检测节点,进行一致性检测。
9.一种计算机设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的数据一致性检测方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的数据一致性检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团重庆有限公司;中国移动通信集团公司,未经中国移动通信集团重庆有限公司;中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711395044.9/1.html,转载请声明来源钻瓜专利网。