[发明专利]一种支持二代征信报告异步结构化存储的方法及装置

说明书

本发明公开了一种支持二代征信报告异步结构化存储的方法及装置，属于银行信息技术领域，解决现有征信报告数据不存储，运用不充分，造成数据浪费。主旨在于解决异步处理的方式缩短了征信查询的响应时间。本发明步骤为基于java代码查询数据库提取上一日全量征信查询记录；基于java代码将步骤1查询结果放入List数据结构里；创建线程池将List里的对象多线程进行处理；将步骤3里的List对象进行遍历，将数据转化为JSON，判断JSON是否为空，不为空则执行步骤5，为空则遍历List中下一条数据，重复执行步骤4；将JSON进行解析，根据征信数据规范存入定义好的存储表中。

技术领域

本发明属于银行信息技术领域，提供了一种支持二代征信报告异步结构化存储的方法及装置。

背景技术

在商业银行，目前二代征信报告数据存储方式各自做法各不相同，其原因在与各家的后台数据库及表结构不一致，以及对数据的使用程度需求度不同，在目前银行风控及大数据用户行为画像中征信数据的应用越来越广泛，对数据的粒度要求也越来越小，所以急需一种方法能将征信报告拆分为字段维度的表进行存储，以供给下游系统使用。但目前各家行拆分维度，及需求不统一所以有以下痛点：

1、没有进行标准化，复用化程度低，征信字段几乎都要重新开发数据抽取脚本；

2、维度需求不一致，导致征信报告解析和加工处于分散状态，每个系统都各自进行开发导致重复造轮子，浪费人力；

3、查询数据量巨大的情况下，实时解析报告严重影响交易响应时间。

发明内容

针对上述研究的问题，本发明的目的在于提供一种支持二代征信报告异步结构化存储的方法，解决现有征信数据不标准，维度不确定，实时解析影响交易等问题。

为了达到上述目的，本发明采用如下技术方案：

一种支持二代征信报告异步结构化存储的方法，包括以下步骤：

步骤1、基于java代码查询数据库提取上一日全量征信查询记录；

步骤2、基于java代码将步骤1查询结果放入List数据结构里；

步骤3、创建线程池将List里的对象多线程进行处理；

步骤4、将步骤3里的List对象进行遍历，将数据转化为JSON，判断JSON是否为空，不为空则执行步骤5，为空则遍历List中下一条数据，重复执行步骤4；

步骤5、将JSON进行解析，根据征信数据规范存入定义好的存储表中。

上述技术方案中，步骤1具体包括以下步骤；

步骤1.1：定义开始和结束时间格式，调用SimpleDateFormat方法将数据时间参数转化为年月日时分秒的日期数据格式，格式要与数据库存储的格式保持一致；

步骤1.2：调用dao层getNeedSaveStrutsData方法查询获取数据库MBTQ_IndvReport_Querylnfo表中未结构化标志isXmlSaveDb是空或者等于0的、有效数据标识sts等于0的、查询开始时间createdTime1、查询结束时间createdTime2来获取上一日的个人信用报告结构化数据。

上述技术方案中，步骤3.1：创建一个可定期或者延时执行任务的定长线程池；

步骤3.2：判断List对象是否为空，不为空就放入线程池进行多线程处理；

步骤3.3：实现handleListMutiSchedule方法，多线程并行处理list数据集；

步骤3.4：处理完毕后关闭线程池。

上述技术方案中，步骤4具体包括以下步骤：