[发明专利]一种基于Flume的实时数据加载方法及系统

权利要求书

1.一种基于Flume的实时数据加载方法，其特征在于，该方法包括：

在源端及目标端分别配置OGG组件，并在目标端配置Flume组件；

所述源端通过OGG组件实时采集银行交易数据；

所述目标端通过OGG组件读取银行交易数据，并利用Flume组件对银行交易数据进行解析；

将解析后的银行交易数据加载至Kafka Topic，供给下游数据加工程序使用。

2.根据权利要求1所述的基于Flume的实时数据加载方法，其特征在于，所述源端通过OGG组件实时采集银行交易数据，包括：

通过OGG组件采集银行的对公存款数据，其中包括：对公活期存款合约账户明细和对公定期存款合约账户明细。

3.根据权利要求1所述的基于Flume的实时数据加载方法，其特征在于，所述OGG组件包括：Manager进程、Extract进程、Pump进程及Replicat进程。

4.根据权利要求3所述的基于Flume的实时数据加载方法，其特征在于，在源端配置OGG组件，包括：

在源端的数据库中安装OGG软件，至少包括：Manager进程、Extract进程及Pump进程；其中，

所述Manager进程是GoldenGate的控制进程，用于启动、监控、重启GoldenGate的进程，报告错误及时间，分配数据存储空间，发布阀值报告；

所述Extract进程运行在数据库源端，用于从源端数据表或日志中捕获数据；

所述Pump进程运行在数据库源端，用于将Trail文件以数据块的形式通过TCP/IP协议发送到目标端。

5.根据权利要求4所述的基于Flume的实时数据加载方法，其特征在于，所述源端的数据库包括Oracle数据库。

6.根据权利要求4所述的基于Flume的实时数据加载方法，其特征在于，在目标端配置OGG组件，包括：

在目标端的数据库中安装OGG组件，采用文件落地的方式进行数据接收。

7.根据权利要求6所述的基于Flume的实时数据加载方法，其特征在于，在目标端配置OGG组件，包括：

在目标端配置Replicat进程；其中，所述Replicat进程用于接收投递的数据，读取目标端Trail文件中的内容，并进行解析得到DML或DDL语句，将解析结果应用到目标数据库中。

8.根据权利要求6所述的基于Flume的实时数据加载方法，其特征在于，所述目标端的数据库包括以下一种或多种的组合：

Gbase数据库、Kudu数据库、Hive数据库、Hdfs分布式数据库及OLAP数据库。

9.根据权利要求1所述的基于Flume的实时数据加载方法，其特征在于，所述Flume组件包含多个进行逻辑处理的节点，用于分布式进行日志采集、聚合和传输。

10.根据权利要求9所述的基于Flume的实时数据加载方法，其特征在于，所述目标端通过OGG组件读取银行交易数据，并利用Flume组件对银行交易数据进行解析，包括：

根据银行交易数据，设置分布式消息队列中的任务；

利用Flume组件将分布式消息队列中的任务通过轮询策略选择匹配的节点，使节点对轮询的任务进行逻辑处理，解析银行交易数据，并将解析结果写入Kafka数据队列进行数据消费。

11.根据权利要求1所述的基于Flume的实时数据加载方法，其特征在于，将解析后的银行交易数据加载至Kafka Topic，供给下游数据加工程序使用，包括：

在Kafka集群创建采集对象的Topic；

将Flume组件解析OGG落地文件得到的解析结果，按照Topic插入Kafka数据队列。