[发明专利]数据校验的方法、系统及终端设备

说明书

本公开涉及大数据技术和数据处理技术领域，提供一种线上数据与离线数据一致性校验的方法、系统及终端设备。线上数据与离线数据一致性校验的方法包括：将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及将读取的线上数据与离线数据进行对比。通过数据实时回流机制进行线上、离线数据一致性校验，实现了在不影响线上系统的前提下，完成离线、线上数据一致性校验工作的效果。

技术领域

本公开涉及大数据技术和数据处理技术领域，具体涉及一种线上数据与离线数据一致性校验的方法、系统及终端设备。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。

随着大数据技术不断发展，数据变得越来越重要，由于大数据本身的数据量级是非常大的，许多依赖数据的业务需要从大规模的数据中提取有用的信息，但这些信息往往不能通过实时系统获得，只能通过离线分布式系统计算，最终获得业务所需的数据。通过离线分布式系统获得的数据，需要抽取到线上系统，供线上业务使用。但是由于数据抽取过程不能保证完全可靠，比如数据中含有非法字符、抽数系统或任务本身崩溃等异常情况都可能导致线上系统获得的数据和离线系统加工出来的数据不完全一致，从而对线上业务造成影响。

因此，需要一种线上数据与离线数据一致性校验的方法。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种线上数据与离线数据一致性校验的方法、系统及终端设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，公开一种线上数据与离线数据一致性校验的方法，包括：

将所需要的数据从离线数据中抽取到线上并存储为线上数据，将抽取的数据的唯一识别标志发送给消息队列中间件；

从消息队列中间件取回唯一识别标志，根据唯一识别标志读取线上数据；以及

将读取的线上数据与离线数据进行对比。

根据本公开的一示例实施方式，所述的方法还包括：当对比结果为不一致时，发出警报或通知。

根据本公开的一示例实施方式，所述离线数据存储于离线数据存储服务器。

根据本公开的一示例实施方式，所述将读取的线上数据与离线数据进行对比包括：将读取的线上数据写回离线数据存储服务器，并通过离线数据存储服务器上运行的离线分布式存储和计算软件完成对比。

根据本公开的一示例实施方式，所述离线分布式存储和计算软件为Hive或Hadoop。

根据本公开的一示例实施方式，所述线上数据存储于线上数据存储服务器。

根据本公开的一示例实施方式，所述离线数据存储服务器或线上数据存储服务器为由多台服务器组成的服务器集群。

根据本公开的一示例实施方式，所述消息队列中间件运行于消息队列服务器。