[发明专利]一种分布式海量数据聚合采集方法

说明书

本发明提供一种分布式海量数据聚合采集方法，采用SolrCloud分布式全文检索系统作为Flume Sink子组件的目标存储，由于SolrCloud集群的节点和Collection等配置信息使用的Zookeeper集群保存的特性，通过利用对相应znode节点注册Watcher的方法实现了近实时读取Collection的Schema信息，减少了一些冗余的配置项，实现了不需要重启Flume Agent即可获取最新的Schema配置信息；减少了发送到SolrCloud集群的数据量，提升了数据写入的效率。

技术领域

本发明涉及数据采集领域，尤其涉及一种分布式海量数据聚合采集方法。

背景技术

在云计算时代，面对海量数据，传统的ETL(Extraction-Transformation-Loading)工具显然力不从心，主要是数据转换开销太大，在性能上无法满足海量数据的采集需求。为了提高海量数据采集的性能，目前已经产生了各种成熟并且效果非常好的海量数据采集组件，比如常用的Apache基金会的开源Flume组件。Flume是一个分布式、可靠和高可用的海量数据聚合系统。支持在系统中采集不同类型数据源的数据，同时，支持对数据进行简单处理，并将其下沉到不同数据接收方。

现有将数据下沉到solr的下沉组件是flume-ng-morphline-solr-sink组件，它依赖于Morphline ETL工具，即它基于Morphline的配置项十分复杂，增加了使用者的负担，并且它没有提供对具有相同UniqueKey记录的合并操作，尤其是针对Solr集合中记录局部字段更新，包括多值字段的值去重累计聚合支撑不足，从而增加了SolrCloud集群的压力。

发明内容

为了克服上述现有技术中的不足，本发明提供一种分布式海量数据聚合采集方法，方法包括：

步骤一，基于SolrCloud集群实现继承自AbstractSink抽象类和Configurable接口的SolrSink类；

步骤二，定义flume-solr-sink组件sink类型参数的值为solr；

步骤三，SolrSink类的Configurable接口通过Configure(Context context)模块读取有关SolrCloud的相关配置参数；

步骤四，SolrSink类覆盖实现AbstractSink类的start()方法，通过读取SolrCloud在Zookeeper集群中Collection schema相应的znode节点数据，同时在znode注册一个SolrSchemaWatcher类的实例对象，来解析Collection的schema信息，获取需要的UniqueKey和多值字段的信息；

步骤五，基于SolrSink类的抽象类AbstractSink的process()模块，通过process()模块循环处理接收到的数据单元，将接收到的数据单元按照SolrCloud Collection中相应的字段定义到SolrInputDocument类对象实例中；

步骤六，针对数据源中的不同数据格式，基于SolrCloud集群定义AbstractParser抽象类，将Text格式数据、Json格式数据、Avro格式数据、Protobuf格式数据均转换为SolrCloud Collection的Schema中定义的类型。

优选地，步骤三还包括，SolrCloud在Zookeeper集群中的注册znode节点，集合名称，写入字段，是否启用聚合功能，以及批量写入SolrCloud的阈值。

优选地，步骤五还包括，按照预设批次将接收到的数据单元按照SolrCloudCollection中相应的字段定义追加到SolrInputDocument类对象实例中；