[发明专利]一种基于流程实现海量信用信息处理方法及系统

说明书

本发明公开了一种基于流程实现海量信用信息处理方法及系统，包括将所有有关信用的资源信息及验证逻辑通过元数据进行统一描述，并存入数据库中；根据服务器的配置设置与其匹配数量的线程池负责多任务处理，将多个任务对应的数据处理流程以并发方式同时执行，每一个任务对应的数据处理流程划分为多个按序进行的数据处理子流程。本发明基于流程方式抽象整个处理逻辑，满足不同资源的不同处理业务及特定业务逻辑，通过在流程和步骤前后增加监听，实现对执行情况进行实时监控。所有处理流程实例采用并发方式分块执行，保障系统处理高效、稳定。相同资源重复性验证采用队列方式进行排队执行，确保信用记录唯一性。

技术领域

本发明涉及一种基于流程实现海量信用信息处理方法，属于数据查询技术领域。

背景技术

公共信用信息相关国家标准对信用主体(包括自然人，法人或其他组织)及其信用信息定义了7个大类，37个小类，共102个信息资源，实际应用中还会增加更多不同领域的信用信息。这些信息主要由相关委办局通过三种途径进入公共信用信息平台，分别是：通过文件手工导入，前置库直接对接交换导入，调用WEB服务方式自动获取数据。其中，文件常用格式为Excel，CSV或TXT等。

然而，无论采用哪种方式都需要先对信息进行处理，主要包括数据格式验证、关联验证、重复性验证以及加密处理等。具体的，数据格式验证是指对单个信息项验证，如合规的身份证号码，信息项之间验证，如发布日期小于过期日期。关联验证即通过证件类型和证据号码和主体信息进行关联，使得相同主体信用信息都有唯一主体ID进行关联，方便后期实现各种查询、分析、聚集应用；关联不上的数据需要根据验证信息项对主体信息进行增补，从而确保信用信息有主体信息进行关联。重复性验证避免存在重复信用信息记录，依据记录中多个关键业务字段判断记录是否重复。加密处理即对个人隐私相关的信息项需进行加密存储。

目前，一般采用整体处理方法，即加载全部数据进行处理，但在实际使用过程中存在如下问题：

1、为了防止数据量过大，对一次性加载的数据进行大小限制，操作人员需手动分割为多个文件，操作麻烦，效率低；

2、由于信息资源多，信息量大，处理逻辑复杂，处理效率较低，业务高峰期并发量大时，常常会导致系统不稳定、甚至因内存过载宕机；

3、不同资源的验证方式和逻辑有差异，个性化的验证实现需要独立开发，通用性不强，可维护性低。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于流程实现海量信用信息处理方法及系统，能够充分利用系统计算能力，实现高效处理海量数据；稳定性好，具有较高并发处理能力；其通过元数据定义验证规则，满足不同资源的灵活验证规则，通用性强。

为了实现上述目的，本发明采用如下技术方案：一种基于流程实现海量信用信息处理方法，包括：

将所有有关信用的资源信息及验证逻辑通过元数据进行统一描述，并存入数据库中；

根据服务器的配置设置与其匹配数量的线程池负责多任务处理，将多个任务对应的数据处理流程以并发方式同时执行，每一个任务对应的数据处理流程划分为多个按序进行的数据处理子流程；

每一个数据处理子流程包括三个步骤，依次为：获取数据、处理数据和存储数据；

所述获取数据是将所述数据处理子流程所属数据处理流程中的数据以分块方式进行流式获取，每个分块最多固定数量记录的参数根据服务器的配置进行设置，分块数量与所属数据处理流程中的数据处理子流程的数量相同；

所述处理数据是对获取的数据进行处理；

所述存储数据是将处理后的合格数据写入数据库，不合格的数据生成错误记录文件，告知客户；