[发明专利]基于流程编排的分布式异构金融数据处理方法及装置

说明书

本发明可用于大数据技术领域，本发明提供了一种基于流程编排的分布式异构金融数据处理方法及装置，基于流程编排的分布式异构金融数据处理方法包括：接收第一金融数据以及第二金融数据；按照映射表的方式，分别根据第一金融数据以及第二金融数据，确定第一金融数据的键值、值以及第二金融数据的键值、值；根据第一金融数据的键值、值以及第二金融数据的键值、值，对第一金融数据与第二金融数据进行对比。本发明一方面通过引入流程编排，实行了串行处理的并行化，可以有效提高处理速度和效率，减少处理的耗时，另一方面引入分布式技术，充分利用分布式技术优势，化整为零，对单台设备的硬件要求大大降低的同时，也对处理时效做进一步提升。

技术领域

本发明属于大数据技术领域，具体涉及一种基于流程编排的分布式异构金融数据处理方法及装置。

背景技术

现有技术中，针对异构数据资金对账，为了避免对账功能对其他业务功能的影响，通常都是采用批量机单独处理对账，其处理流程大致如图1所示。具体地：对账服务器定时扫描双方文件抵达情况，只有两个文件到齐了才会开始执行对账；对账时，两个文件一起处理，处理时一般将整个文件读入内存或者写入数据库后，通过内存数据比对或数据表数据比对来完成对账；需要整个文件处理完，才生成对账结果。

现有的对账方法在业务数据量比较少、数据文件比较小的情况下，可以很好地满足需求，但是随着业务量的增长、数据文件增大，就需要投入比较大的硬件成本(磁盘、内存、CPU)才能勉强满足需求。比如XXX省医保一天的对账流水可能是几G甚至10几G的数据文件，这种情况下，对账服务器的磁盘、内存和CPU需求都比较高，不然容易出现磁盘空间不足或者内存溢出的风险。

此外，现有的对账方法通常是串行化的，处理时效性和性能是一大瓶颈，当数据文件大小达到10G甚至更大时，可能需要耗时数小时才能完成对账。

发明内容

本发明属于大数据技术领域，其所提供的基于流程编排的分布式异构金融数据处理方法及装置，一方面通过引入流程编排，实行了串行处理的并行化，可以有效提高处理速度和效率，减少处理的耗时(业务创新点)，另一方面引入分布式技术，充分利用分布式技术优势，化整为零，对单台设备的硬件要求大大降低的同时，也对处理时效做进一步提升。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于流程编排的分布式异构金融数据处理方法，包括：

接收第一金融数据以及第二金融数据；

按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值；

根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比。

一实施例中，所述按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值，包括：

利用map方法，确定所述第一金融数据以及第二金融数据的唯一识别码，以确定所述第一金融数据的键值以及所述第二金融数据的键值；

利用map方法，确定所述第一金融数据的值以及第二金融数据的值；

所述键值与其对应的值为一一对应关系。

一实施例中，基于流程编排的分布式异构金融数据处理方法还包括：

根据所述第一金融数据的属性值以及所述第二金融数据的属性值，对所述第一金融数据以及所述第二金融数据进行拆分，以生成拆分结果；

所述拆分结果中，所述第一金融数据的拆分数与所述第二金融数据的拆分数一致。