[发明专利]一种基于Flume的实时数据加载方法及系统

说明书

本发明提出了一种基于Flume的实时数据加载方法及系统，涉及大数据采集及存储技术领域，该方法包括：在源端及目标端分别配置OGG组件，并在目标端配置Flume组件；所述源端通过OGG组件实时采集银行交易数据；所述目标端通过OGG组件读取银行交易数据，并利用Flume组件对银行交易数据进行解析；将解析后的银行交易数据加载至Kafka Topic，供给下游数据加工程序使用。本发明利用开源的Flume进行数据抽取，可以减少实施数据采集的成本，为数据加载端提供更多的技术选择；并且通过Flume对数据文件的解析，可以适用于更多的数据接收方，数据加载的方式更加灵活。

技术领域

本发明涉及大数据采集及存储技术领域，尤指一种基于Flume的实时数据加载方法及系统。

背景技术

由于监管机构的监管频度在原来常见的日报、月报、季报、年报的基础上，增加了实时报送的方式，各金融机构为满足报送时效性，必须采用新的实时数据采集和加工方法。参考图5及图6所示，为现有技术中的两种数据加载方案：

一、如图5所示，为现有技术中基于数据文件和批处理的数据加载方法。

该方案为了从上游各个交易系统将数据采集至数据仓库进行数据加工和分析，一般选择在不影响交易线效率的情况下，在日终时通过从源系统进行数据库卸数，之后通过文件传输组件传输至数据仓库，通过贴源程序加载入库。主要流程为：

S51：交易线数据卸数，按照约定的文件格式、字段分隔符，将交易线数据按表级卸载成数据文件。

S52：数据文件传输，通过NFT或者BDE等文件传输组件，将交易线数据文件传输至数据仓库的文档服务器。

S53：数据文件批处理入库，通过编写加载入库脚本，将数据从文件中读取，并且插入指定数据库，一般加载时会按照一定算法进行累数操作。

该方案采集数据时，需要从交易线的生产数据库中卸载数据，对交易线的当前交易会产生影响，一般选择日终(24:00)进行卸数操作，因此采集频度低，仓库获取数据的时效性低；

由于要把一天的交易数据同步至数据仓库，一般数据量较大，处理时间较长，在最终加载完数据前，下游数据线无法用数。

二、参考图6，为现有技术中基于OGG for bigdata的数据加载方法。

该方案采用OGG技术从交易线同步交易数据，通过OGG for bigdata插件将数据加载至hadoop平台(Kafka，Hdfs等)进行数据消费。主要流程为：

S61，当原交易组件数据库进行增删改查操作(insert、delete、updata操作)时，OGG组件将通过分析日志的方式获取数据。

S62，OGG客户端获取OGG服务端数据的变化。

S63，OGG通过OGG for big data组件，将实时采集的交易数据映射进Kafka的Topic。insert updata之后数据，Topic：ZTVOUCHER_INS；delete updata之前数据，Topic：ZTVOUCHER_DEL。

该方案必须通过OGG for bigdata进行数据同步，OGG for bigdata不是标准OGG组件，需要额外采购；并且，还存在一定的局限，如OGG for bigdata的数据同步方式不够灵活，无法编程与其他已有的数据加载组件进行搭配。

从传统的数据采集方式来看，主要是基于文件卸数，通过文件传输和批处理加载入库的方式来进行数据同步，从时效性来看一般是T+1天，即每天日终送数和加载入库，该方法已经不能满足监管机构对某些实时报送任务的要求。

综上来看，亟需一种可以克服上述缺陷，能够满足实时报送任务要求的技术方案。

发明内容