[发明专利]一种分布式海量数据聚合采集方法

摘要

本发明提供一种分布式海量数据聚合采集方法，采用SolrCloud分布式全文检索系统作为Flume Sink子组件的目标存储，由于SolrCloud集群的节点和Collection等配置信息使用的Zookeeper集群保存的特性，通过利用对相应znode节点注册Watcher的方法实现了近实时读取Collection的Schema信息，减少了一些冗余的配置项，实现了不需要重启Flume Agent即可获取最新的Schema配置信息；减少了发送到SolrCloud集群的数据量，提升了数据写入的效率。

主权项

1.一种分布式海量数据聚合采集方法，其特征在于，方法包括：步骤一，基于SolrCloud集群实现继承自AbstractSink抽象类和Configurable接口的SolrSink类；步骤二，定义flume-solr-sink组件sink类型参数的值为solr；步骤三，SolrSink类的Configurable接口通过Configure(Context context)模块读取有关SolrCloud的相关配置参数；步骤四，SolrSink类覆盖实现AbstractSink类的start()方法，通过读取SolrCloud在Zookeeper集群中Collection schema相应的znode节点数据，同时在znode注册一个SolrSchemaWatcher类的实例对象，来解析Collection的schema信息，获取需要的UniqueKey和多值字段的信息；步骤五，基于SolrSink类的抽象类AbstractSink的process()模块，通过process()模块循环处理接收到的数据单元，将接收到的数据单元按照SolrCloud Collection中相应的字段定义到SolrInputDocument类对象实例中；步骤六，针对数据源中的不同数据格式，基于SolrCloud集群定义AbstractParser抽象类，将Text格式数据、Json格式数据、Avro格式数据、Protobuf格式数据均转换为SolrCloudCollection的Schema中定义的类型。