[发明专利]数据一致性检测方法、装置、设备及计算机存储介质

说明书

本发明公开了一种数据一致性检测方法、装置、设备及计算机存储介质。其中，该检测方法包括：接收待检测数据，将待检测数据分为多个数据组；为数据组分配索引；根据索引检索需要进行碎片压缩的数据组，对组内数据进行碎片压缩；根据动态生成的订阅列表将碎片压缩后的待检测数据转换为检测任务，并按照订阅关系将检测任务发布到相应的检测节点，进行一致性检测。根据本发明实施例，通过将数据分组并建立索引，避免了对每一条数据的检测处理，从而减少了需检测的数据量；通过对组内数据进行碎片压缩，解决了数据碎片化的问题；通过订阅/发布机制，实现了交易一致性检测的全流程记录和跟踪，同时提升检测系统的可扩展性。

技术领域

本发明属于数据处理系统领域，尤其涉及一种数据一致性检测方法，数据一致性检测装置，计算机设备以及计算机存储介质。

背景技术

所有的交易都会产生数据。数据的作用首先是作为交易的核心组成，直接决定交易的成败好坏，其次是作为交易日志的一部分，用于交易质量的事后分析与检验。对于因同一个交易产生，特性类同但使用对象和传播路径不同的数据，我们通常称之为同源异径数据。

当数据作为交易日志一部分，用于交易质量的检验时，目的是及时发现数据异常，避免数据超过规则的限制。交易质量检验的核心是交易数据的一致性检测，现行通用检测方法有两种：其一是交易日志重处理，其二是交易日志对账。交易日志重做的方式为，交易完成后ETL模块(ETL指Extract抽取、Transform转换、Load装载)及时完成对日志数据的提取、解析和格式化，重处理模块以交易开始时刻的数据快照为基础，逐条对日志数据按照交易规则重新处理，最后比较重处理所生成的最终数据和交易结束时刻的实际数据快照，以判定数据的一致性，通常银行账户、话费余额等类型的数据一致性检测多采用这种方法。交易日志对账的方式为，交易完成后日志ETL模块同时对交易发起端和交易执行端的日志数据进行提取、解析和格式化，对账模块逐条比较这两份日志数据，根据比较结果判定数据一致性，通常电信运营商及网络游戏的充值卡、远程网络访问记录等类型的数据一致性检测多采用这种方法。

随着业务和技术的快速发展，高频率、高峰值等类型的交易越来越多，交易数据也变得更加碎片化，交易日志量增幅巨大。例如，电商领域的秒杀业务极短时间内会产生数百万级的日志，4G网络普及后人均数据流量计费话单的数量增幅超过30倍，实时计费消息的数量增幅更是超过100倍。

相关技术中的交易数据一致性检测方法，无论是交易日志重处理或者交易日志对账，基本原理都是逐条对交易日志数据按照业务规则和检测逻辑进行处理。此类方案面临的共同问题首先是无法有效应对数据的巨大增幅，往往只能通过对数据所产生的业务场景加以细分，以此来缩减单批次需处理的数据量，扩展性能较差；其次是面对高频交易导致数据碎片化的实际情况，没能有效做到数据的去碎片化，一致性检测所耗费的系统资源与所需要处理的数据量不匹配。云计算等技术的应用虽然可以确保系统资源的充足从而满足一致性检测对系统资源的需求，但同时也会大大增加一致性检测的业务逻辑复杂度。

发明内容

本发明实施例提供一种数据一致性检测方法、装置、设备及计算机存储介质，通过将待检测数据分组并建立索引，分别对数据组进行一致性检测，避免了对每一条数据的检测处理，从而减少了需检测的数据量；通过对组内数据进行碎片压缩，解决了数据碎片化的问题；通过订阅/发布机制，实现了交易一致性检测的全流程记录和跟踪，同时提升检测系统的可扩展性。

一方面，本发明实施例提供一种数据一致性检测方法，包括：接收待检测数据，将待检测数据分为多个数据组；为数据组分配索引；根据索引检索需要进行碎片压缩的数据组，对组内数据进行碎片压缩；根据动态生成的订阅列表将碎片压缩后的待检测数据转换为检测任务，并按照订阅关系将检测任务发布到相应的检测节点，进行一致性检测。

结合第一方面，在第一方面的第一种实施方式中，将待检测数据分为多个数据组，具体为：按照维度将待检测数据分为多个原始数据组；并按照数据进位规则将原始数据组拆分为整数数值组和非整数数值组。