[发明专利]一种多源风控数据清洗处理方法

权利要求书

1.一种多源风控数据清洗处理方法，其特征在于：包括如下步骤：

(一)、多源数据采集阶段：

S1.1、历史数据采集，系统采用全量导入方式将风控历史数据导入；

S1.2、实时数据采集，系统基于数据库日志解析的方式来获取增量变更实现实时数据的同步；

(二)、数据整合阶段：

S1.3、模式匹配，以属性的相似度为依据，对数据进行模式匹配；

S1.4、语义转换，将各异构数据源的属性数据转换成标准数据；

(三)、数据清洗阶段：

S1.5、无效信息过滤，识别并剔除错误数据和重复数据；

S1.6、数据加密，对原始数据进行加密；

S1.7、数据压缩，对原始数据采用无损的压缩处理。

2.根据权利要求1所述的多源风控数据清洗处理方法，其特征在于：所述全量导入方式的方法包括如下步骤：

S2.1、查找对应文件的源文件，浏览对应的源文件，读取该文件下的所有的预设文件类型的数据文件名，并将有效的文件名记录到列表或者存储到文本文件中；

S2.2、获取数据源文件列表；

S2.3、准备目标数据库和目标数据表；

S2.4、确定数据源与目标字段，根据需要结合数据源文件的字段列表和目标数据表的字段列表，确定数据源文件的字段和目标数据表的字段，舍弃不需要的字段；

S2.5、生成导入新记录的表达式，根据数据源和目标字段自动生成新的数据导人操作表达式；

S2.6、按照数据源文件列表逐个打开、读取数据源文件记录，将需要导人的字段逐个导人到目标数据库。

3.根据权利要求1所述的多源风控数据清洗处理方法，其特征在于：所述数据库日志解析的方法包括如下步骤：

S3.1、获取日志中间文件列表；

S3.2、逐条扫描日志中间文件中的记录；

S3.3、使用正则语法解析器处理SQL语句；

S3.4、对数据进行净效应处理；

S3.5、输出增量数据文件。

4.根据权利要求1所述的多源风控数据清洗处理方法，其特征在于：所述模式匹配的公式如下：

sim(S1.ei，S2.ej)＝AGG(simf(S1.ei，S2.ej))；

其中，ei与ej是分属于模式S1和S2的两个属性，simf是基于特征f的相似度算法，AGG为聚合函数。

5.根据权利要求1所述的多源风控数据清洗处理方法，其特征在于：所述语义转换的方法为，用R_set表示语义转换规则集，R_set＝{r₁，r₂，...，r_n}，其中r_i表示某一条规则，i＝1，2，...，n，n为规则总数量，r_i＝(T，D，OT，O，R)；

T为Type，语义转换问题类型标识；D为Data，语义转换层待处理的数据对象；OT为Operation Type，语义转换层所执行转换操作的触发器类型；O为Operation，语义转换具体操作；R为Reference，规则中操作。