[发明专利]一种分布式海量数据聚合采集方法

权利要求书

1.一种分布式海量数据聚合采集方法，其特征在于，方法包括：

在系统中安装部署SolrCloud集群和Zookeeper集群；

基于SolrCloud集群将flume-solr-sink数据下沉组件的Jar包分发到Flume的每个节点机器的类加载路径；配置数据采集的Sink的Type为solr；

启动所有Flume组件的Agent进程，使用分布式海量数据聚合采集方式进行数据采集；

在Zookeeper集群中，通过自定义的solr-sink组件，解析Json、Text、Avro、Protobuf格式的源数据，分批次写入SolrCloud的Collection中；

实时读取SolrCloud在Zookeeper集群相应Collection schema的znode节点数据，解析获取我们需要的UniqueKey字段以及多值字段schema信息；并且支持将每个批次中的数据进行汇总聚合功能；

基于SolrCloud集群实现继承自AbstractSink抽象类和Configurable接口的SolrSink类；

定义flume-solr-sink组件sink类型参数的值为solr；

SolrSink类的Configurable接口通过Configure(Context context)模块读取有关SolrCloud的相关配置参数；

SolrSink类覆盖实现AbstractSink类的start()方法，通过读取SolrCloud在Zookeeper集群中Collection schema相应的znode节点数据，同时在znode注册一个SolrSchemaWatcher类的实例对象，来解析Collection的schema信息，获取需要的UniqueKey和多值字段的信息；

基于SolrSink类的抽象类AbstractSink的process()模块，通过process()模块循环处理接收到的数据单元，将接收到的数据单元按照SolrCloud Collection中相应的字段定义到SolrInputDocument类对象实例中；

按照预设批次将接收到的数据单元按照SolrCloud Collection中相应的字段定义追加到SolrInputDocument类对象实例中；

如某一批次接收到的数据单元出现异常时，按照异常事务处理，将接收到的异常数据单元定义到异常SolrInputDocument类对象实例中；

步骤六，针对数据源中的不同数据格式，基于SolrCloud集群定义AbstractParser抽象类，将Text格式数据、Json格式数据、Avro格式数据、Protobuf格式数据均转换为SolrCloudCollection的Schema中定义的类型。

2.根据权利要求1所述的分布式海量数据聚合采集方法，其特征在于，

在步骤SolrSink类的Configurable接口通过Configure(Context context)模块读取有关SolrCloud的相关配置参数中：

SolrCloud在Zookeeper集群中的注册znode节点，集合名称，写入字段，是否启用聚合功能，以及批量写入SolrCloud的阈值。