[发明专利]一种数据比对方法及系统、任务控制器、存储介质

说明书

本申请公开了一种数据比对方法及系统、任务控制器、存储介质，该方法包括：获取数据比对任务的配置信息，并控制采集引擎利用配置信息指定的采集引擎插件采集源数据和目标数据。之后，控制比对引擎利用配置信息指定的比对引擎插件对源数据和目标数据进行比对，获得比对结果。最后，控制处理引擎利用配置信息指定的处理引擎插件对比对结果进行处理，获得处理结果。本申请对采集引擎、比对引擎和处理引擎进行统一控制，提供了模板化的数据比对控制机制，无需针对不同信息系统和数据模型的差异进行重复性的机制开发与调整，因此改善了数据比对的效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据比对方法及系统、任务控制器、存储介质。

背景技术

现代信息网络中，不同的信息系统之间会存在一定数量的数据交易服务。为了保证数据交易服务的数据一致性，需要定时对交易双方的信息系统进行交易数据比对及更新处理。实践中发现，由于不同信息系统的交易数据来源方式、数据记录格式、数据比对方式和比对结果输出方式等存在各种各样的差异，导致各个信息系统内的数据比对机制无法通用，因此现有技术需要针对不同信息系统和数据模型的差异进行重复性的机制开发与调整，使得数据比对的效率较低。

申请内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种数据比对方法及系统、任务控制器、存储介质，能够提高数据比对的效率。

根据本申请的第一方面实施例的一种数据比对方法，包括：

获取数据比对任务的配置信息；控制采集引擎利用所述配置信息指定的采集引擎插件采集源数据和目标数据；控制比对引擎利用所述配置信息指定的比对引擎插件对所述源数据和所述目标数据进行比对，获得比对结果；控制处理引擎利用所述配置信息指定的处理引擎插件对所述比对结果进行处理，获得处理结果。

根据本申请实施例的一种数据比对方法，至少具有如下有益效果：

本申请实施例中，通过采用采集引擎、比对引擎和处理引擎分别执行数据采集、数据比对和数据处理流程，对采集引擎、比对引擎和处理引擎进行统一控制，提供了模板化的数据比对控制机制。基于此，结合配置信息的指示，控制采集引擎、比对引擎和处理引擎直接调用符合业务配置需求的插件进行数据采集、比对和处理，无需针对不同信息系统和数据模型的差异进行重复性的机制开发与调整，因此改善了数据比对的效率，并且还能够适用于多种个性化的业务需求，进而提高了数据比对机制的通用性和灵活性。

根据本申请的一些实施例，所述获取数据比对任务的配置信息，包括：

当接收到任务管理器发送的数据比对任务时，获取所述数据比对任务对应的配置信息，所述任务管理器以插件形式运行。

根据本申请的一些实施例，所述采集引擎插件包括源数据采集器和目标数据采集器；所述控制采集引擎利用所述配置信息指定的采集引擎插件采集比对数据，包括：

根据所述配置信息，生成数据采集请求，所述数据采集请求用于指示采集引擎利用所述源数据采集器采集源数据以及利用所述目标数据采集器采集目标数据；向所述采集引擎发送所述数据采集请求；从所述采集引擎获得所述源数据和所述目标数据。

根据本申请的一些实施例，所述采集引擎插件还包括源数据解析器和目标数据解析器；所述数据采集请求还用于指示所述采集引擎在采集所述源数据和所述目标数据之后，利用所述源数据解析器对所述源数据进行数据解析转换以及利用所述目标数据解析器对所述目标数据进行数据解析转换，获得统一格式后的源数据和目标数据；

所述从所述采集引擎获得所述源数据和所述目标数据，包括：从所述采集引擎获得所述统一格式后的源数据和目标数据。

根据本申请的一些实施例，所述控制比对引擎利用所述配置信息指定的比对引擎插件对所述源数据和所述目标数据进行比对，获得比对结果，包括：