[发明专利]互联网金融消费信贷批量业务分布式流计算处理引擎

权利要求书

1.互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，包括以下步骤，

步骤S1001：从源数据库中读取数据，通过kafka producer把源数据流发送到kafkatopic partition上；

步骤S1002：读取Kafka中的源数据消息，为kafka的topic中每一个partition创建一个reader作为consumer；

步骤S1003：reader通过流运算把来自于同一个topic的消息汇集起来上，再通过HTTPConnector转发到GP的各个Segment上；

步骤S1004：通过调度器Dispatcher来调度、加载、启动使用流数据处理模式和流运算的GP-SQL for Java实现流数据处理的JOB来完成具体的业务功能；

步骤S1005：把处理完成的结果数据写入到结果数据库中。

2.根据权利要求1所述的互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，在步骤S1002中，Reader是流计算处理引擎的kafka consumer，负责读取Kafka中的源数据流，同时对数据流进行前置变换和处理，然后再通过Connector发送数据到GP的segment上。

3.根据权利要求1所述的互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，Connector基于HTTP协议，负责kafka、GP连接功能，以及数据收发功能。

4.根据权利要求1所述的互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，Dispatcher是调度组件，负责调度、加载、启动与GP Segment关联的用GP-SQL forJAVA实现的JOB。

5.根据权利要求1所述的互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，数据流在JOB处理前还需进行PreHandler操作，从而得到JOB处理需要的数据格式。

6.根据权利要求1所述的互联网金融消费信贷批量业务分布式流计算处理引擎，其特征在于，数据流在JOB处理后还需进行PostHandler操作，使其满足保存到mysql数据库需要的格式，实现把处理完成的结果数据写入到结果数据库中。