[发明专利]一种基于流程实现海量信用信息处理方法及系统

权利要求书

1.一种基于流程实现海量信用信息处理方法，其特征在于，所述方法包括：

将所有有关信用的资源信息及验证逻辑通过元数据进行统一描述，并存入数据库中；

根据服务器的配置设置与其匹配数量的线程池负责多任务处理，将多个任务对应的数据处理流程以并发方式同时执行，每一个任务对应的数据处理流程划分为多个按序进行的数据处理子流程；

每一个数据处理子流程包括三个步骤，依次为：获取数据、处理数据和存储数据；

所述获取数据是将所述数据处理子流程所属数据处理流程中的数据以分块方式进行流式获取，每个分块最多固定数量记录的参数根据服务器的配置进行设置，分块数量与所属数据处理流程中的数据处理子流程的数量相同；

所述处理数据是对获取的数据进行处理；

所述存储数据是将处理后的合格数据写入数据库，不合格的数据生成错误记录文件，告知客户；

各个数据处理流程启动后加载元信息至流程执行上下文中，数据处理流程和流程步骤均可进行事件监听，用于在执行前和执行后插入相关业务流程逻辑；每个步骤处理后都持久化处理状态，用于统计处理情况，成功数量、失败数量。

2.根据权利要求1所述的一种基于流程实现海量信用信息处理方法，其特征在于，所述通过元数据进行描述是指对有关信用的各个资源信息按照资源名称、资源编码、资源信息记录重复规则进行描述，根据资源名称、资源编码、资源信息记录重复规则进行资源信息的初步分类处理；每个资源信息中的各项元数据包括名称、描述、数据类型、是否必填项、验证规则、是否加密、转换规则。

3.根据权利要求1所述的一种基于流程实现海量信用信息处理方法，其特征在于，所述每一个任务对应的数据处理流程由用户手动启动，或系统定时自动启动。

4.根据权利要求1所述的一种基于流程实现海量信用信息处理方法，其特征在于，所述处理数据包括格式验证、块记录重复验证、关联验证和信息转换，

所述格式验证是根据元信息中配置的验证规则进行验证；

所述块记录重复验证用于确定本次处理记录中没有相互重复的记录，后续步骤可进行并发处理；根据元信息配置的验证重复字段列表生成记录摘要信息，在缓存中以当前处理资源信息编码命名的去重集合中存储摘要信息，如果对应摘要信息已经存在，则返回已经存在状态；对于重复记录打上重复标记，后续作为错误数据不再处理；块记录不重复的数据继续进行后续步骤处理；整个流程结束后判断是否有当前资源的其他任务正在运行，如果没有，则清除缓存中保存当前资源摘要信息的去重集合；

所述关联验证是将获取的数据与信用主体信息进行关联，即仅将获取数据的主体识别信息与系统启动时已加载在缓存中的主体识别记录进行对比；对成功关联记录增加主体识别ID字段；没有关联成功的数据生成唯一主体ID增加至当前记录中，同时触发增补事件，增补监听过程将对应的主体信息增补至数据库中；增补过程独立处理可保障主流程处理效率；

所述信息转换是对获取的数据部分字段根据元信息配置进行转换和信息加密，同时保留字段原始信息；全部验证合规数据记录用转换后字段数据入库，验证不合格记录用原始数据导出文件。

5.根据权利要求1所述的一种基于流程实现海量信用信息处理方法，其特征在于，所述存储数据在合格数据入库之前需要与历史记录对比验证是否重复，对于多个同时运行、相同资源的数据处理流程在队列中排队的方式串行执行，对于多个同时运行、不同资源的数据处理流程以并发方式执行；历史记录重复验证步骤与块内记录判断重复机制一样，通过对比摘要信息进行验证，验证过程采用批量验证方式，对于重复记录置重复错误标记。

6.根据权利要求1所述的一种基于流程实现海量信用信息处理方法，其特征在于，所述存储数据中生成错误记录文件的写步骤按批量方式进行，根据记录状态进行过滤，只有标记为验证错误状态且非重复错误标记才写文件，重复记录数据直接丢弃；在步骤开始之前打开流，步骤结束后关闭流生成文件，记录在内存中设定窗口值，超过该阈值则批量写入；所述存储数据中写入数据库的入库步骤按批量方式进行，并根据服务器配置设定窗口值进行批量写入，仅写入非错误状态数据记录。