[发明专利]OLTP与OLAP一体化的汽车金融大数据系统

摘要

本发明公开了OLTP与OLAP一体化的汽车金融大数据系统，包括模块a、模块b、模块c、模块d、模块e和模块f，所述模块a为关系型数据库，所述模块b为缓存数据库，所述模块c为数据仓库，所述模块d为OLTP系统，所述模块e为OLAP系统，所述模块f包括客户前端UI和管理后台UI，该OLTP与OLAP一体化的汽车金融大数据系统设计合理，使OLTP系统和OLAP系统共用一套数据库定义（元数据）并实现了接近实时的风控模型，为较大型的银行和汽车融资租赁公司提供了一套完整的可本地化的风控解决方案。

主权项

1.OLTP与OLAP一体化的汽车金融大数据系统，包括模块a（1）、模块b（2）、模块c（3）、模块d（4）、模块e（5）和模块f（6），其特征在于，所述模块f（6）包括客户前端UI（11）和管理后台UI（12）；所述模块a（1）为关系型数据库，如MySQL，在使用时，首先要定义数据库的表结构，主要包含以下3种表：①：OLTP系统表，用于定义和管理OLTP系统，比如说需要多用户的管理功能，在数据库中要有相应的表结构支持；②：OLAP系统表，比如说OLAP系统需要定义任务管理的表结构；③：客户的订单数据表，这部分数据是风控模型的输入数据，以json格式保存在数据库中；所述模块b（2）为缓存数据库，如Redis，主要的作用是为从OLTP系统到数据仓库的数据传输提供一个缓冲的作用，模块b（2）是可选的，当模块b（2）关闭时，OLTP系统将会把数据直接存入数据仓库，当模块b（2）启用时，用一个独立的服务程序去管理数据仓库的数据写入，如果使用Hadoop系统的话，可以用Hbase、Phoenix加Spark的方式用多台集群计算机实现数据的快速写入，实现接近实时的数据仓库；所述模块c（3）为数据仓库，采用星型架构保存数据，即数据仓库的表由事实表和维度表组成，事实表和维度表通过外键连接，星型架构中的数据将由风控模型直接读取，Hadoop文件系统的冗余存储可以保证系统的高可用性，Hadoop集群也易于添加节点横向扩展，实现系统的可扩展性；所述模块e（5）为OLAP系统，OLAP系统包含风控报告查询接口（9）和风控模型（10），OLTP和OLAP合并后能够实现接近实时的风控模型（10），当模块c（3）数据仓库被更新以后，OLAP系统中的风控模型（10）能够及时的读取数据仓库内的星型架构的数据，用自动化的特征工程、数据清洗和模型训练更新模型到最新的状态，更新后的模型参数存放在关系型数据库MySQL中，所以OLAP系统对数据仓库只有读操作，没有写操作，订单数据从OLTP系统到缓存数据库，再到数据仓库，最后到OLAP系统是一个单向流动的过程，当风控报告查询接口（9）接到OLTP系统的订单查询时，会从关系型数据库中读取最新的风控模型（10）以及该模型对应的参数，用这个模型计算出订单查询的结果并返回给OLTP系统，所以订单查询并不需要与数据仓库有关的任何操作；所述模块d（4）为OLTP系统，OLTP系统包含客户风控订单接口（7）和第三方数据源接口（8），客户风控订单接口（7）负责接收客户的订单，客户可以以API调用的方式调用客户风控订单接口（7），也可以通过客户前端UI（11）下订单，当一个客户下单时，OLTP系统会有以下操作：①：调用第三方数据源接口（8）获取贷款申请人的数据，包括身份验证、银行资产和消费数据，负面信息数据，借贷历史数据，信用数据，联系人数据和反欺诈数据等；②：把客户风控订单接口（7）传入的数据和第三方数据源接口（8）收集的数据作为参数，并调用OLAP系统中的风控报告查询接口（9）；③：保存订单相关数据，当风控报告查询接口（9）返回结果时，把所有与这个订单有关的数据保存到MySQL和Redis缓存；④：生成风控报告并发送给客户。