[发明专利]一种风控系统完备性监控方法和系统

说明书

本发明公开了一种风控系统完备性监控方法和系统，方法包括：基于在线分类系统对数据源进行特征计算，并提取第一特征数据；将上述数据源和第一特征数据进行收集，并按照统一的格式存储在离线分类系统中的数据库中；基于离线分类系统，对所述数据源进行特征计算，并得到第二特征数据；获取上述第一特征数据和第二特征数据，并由此进行数据展示和/或数据分析；其中，所述在线分类系统和离线分类系统采用相同的数据处理方法和算法。通过每日定时模拟离线计算过程，并将计算的特征与在线系统的计算结果进行对比，以此发现离线风控系统的完备性问题。

技术领域

本发明属于一种监控系统，尤其是指一种用于风控系统完备性的监控方法和系统。

背景技术

风控系统中，对于真实性以及完备性的要求比较高。

目前，传统方式采用数据源、算子单独监控，由于数据源比较繁多且算子逻辑问题的难以察觉，导致很多情况无法起到监控的效果，直接影响了离线风控系统的真实性。

发明内容

本发明所要解决的技术问题是提供一种风控系统完备性监控方法和系统。

本发明解决上述技术问题所采取的技术方案如下：

一种风控系统完备性监控方法，包括：

基于在线分类系统对数据源进行特征计算，并提取第一特征数据；

将上述数据源和第一特征数据进行收集，并按照统一的格式存储在离线分类系统中的数据库中；

基于离线分类系统，对所述数据源进行特征计算，并得到第二特征数据；

获取上述第一特征数据和第二特征数据，并由此进行数据展示和/或数据分析；

其中，所述在线分类系统和离线分类系统采用相同的数据处理方法和算法。

优选的是，所述数据源中包括：用户年龄、性别和工作所在地信息。

优选的是，基于离线分类系统，对所述数据源进行特征计算，并得到第二特征数据，是基于spark分布式计算系统来进行并行计算。

优选的是，获取上述第一特征数据和第二特征数据，并由此进行数据分析，包括：

获取上述第一特征数据和第二特征数据，两者进行比较diff计算；

区分哪些特征存在diff、diff的比例是多少、哪些是新增的diff、通过观察diff结果以及diff的变化趋势。

优选的是，上述数据源，为每日的数据源；

基于每日定时计算并比较在线分类系统的第一特征数据和离线分类系统中的第二特征数据，实现风控系统完备性监控。

一种风控系统完备性监控系统，包括：

在线分类系统，用于对数据源进行特征计算，并提取第一特征数据；

数据收集和数据存储系统，用于将上述数据源和第一特征数据进行收集，并按照统一的格式存储在离线分类系统中的数据库中；

离线分类系统，用于对所述数据源进行特征计算，并得到第二特征数据；

数据展示和比较系统，用于获取上述第一特征数据和第二特征数据，并由此进行数据展示和/或数据分析；

其中，所述在线分类系统和离线分类系统采用相同的数据处理方法和算法。

优选的是，所述数据源中包括：用户年龄、性别和工作所在地信息。

优选的是，所述离线分类系统，对所述数据源进行特征计算，并得到第二特征数据，是基于spark分布式计算系统来进行并行计算。