[发明专利]互联网金融消费信贷批量业务分布式流计算处理引擎

说明书

本发明涉及流计算处理领域，公开了互联网金融消费信贷批量业务分布式流计算处理引擎，包括以下步骤，步骤S1001：从源数据库中读取数据，通过kafka producer把源数据流发送到kafka topic partition上；步骤S1002：读取Kafka中的源数据消息，为kafka的topic中每一个partition创建一个reader作为consumer；步骤S1003：reader通过流运算把来自于同一个topic的消息汇集起来上，再通过HTTP Connector转发到GP的各个Segment上；步骤S1004：通过调度器Dispatcher来调度、加载、启动使用流数据处理模式和流运算的GP‑SQL for Java，实现流数据处理的JOB来完成具体的业务功能；步骤S1005：把处理完成的结果数据写入到结果数据库中。本发明通过分布式并行技术来提高批量处理效率，缩短处理时间，把Kafka高速的流传输能力和Greenplum强大的流运算执行能力联合起来。

技术领域

本发明涉及流计算处理领域，具体是指互联网金融消费信贷批量业务分布式流计算处理引擎。

背景技术

互联网消费金融从本质上讲其实就是网络贷款，是指具有相关资质的互联网金融企业在大数据征信的基础上，通过互联网向消费者提供某个具体消费产品(房产或汽车除外)或服务贷款的金融运作模式。用户只要登陆相关网站，然后进行申请就可享受互联网消费金融所带来的便捷性。

当前互联网金融消费信贷批量是使用单机单进程模式，随着数据量不断增加，单机批量系统的压力很大，批量处理时间越来越长，已经影响了正常的交易和下游系统的数据处理。

因此我们迫切需要一种能够提高批量处理效率，缩短处理时间的互联网金融消费信贷批量业务分布式流计算处理引擎。

发明内容

基于以上问题，本发明提供了互联网金融消费信贷批量业务分布式流计算处理引擎。本发明通过分布式并行技术来提高批量处理效率，缩短处理时间，把Kafka高速的流传输能力和Greenplum强大的流运算执行能力联合起来，形成一个分布式流计算处理引擎，大大降低了数据处理的延时。

为解决以上技术问题，本发明采用的技术方案如下：

互联网金融消费信贷批量业务分布式流计算处理引擎，包括以下步骤，

步骤S1001：从源数据库中读取数据，通过kafka producer把源数据流发送到kafka topic partition上；

步骤S1002：读取Kafka中的源数据消息，为kafka的topic中每一个partition创建一个reader作为consumer；

步骤S1003：reader通过流运算把来自于同一个topic的消息汇集起来上，再通过HTTP Connector转发到GP的各个Segment上；

步骤S1004：通过调度器Dispatcher来调度、加载、启动使用流数据处理模式和流运算的GP-SQL for Java实现流数据处理的JOB来完成具体的业务功能；

步骤S1005：把处理完成的结果数据写入到结果数据库中。

作为优选的，在步骤S1002中，Reader是流计算处理引擎的kafka consumer，负责读取Kafka中的源数据流，同时对数据流进行前置变换和处理，然后再通过Connector发送数据到GP的segment上。

作为优选的，Connector基于HTTP协议，负责kafka、GP连接功能，以及数据收发功能。

作为优选的，Dispatcher是调度组件，负责调度、加载、启动与GP Segment关联的用GP-SQL for JAVA实现的JOB。