[发明专利]一种数据快速采集系统及方法

权利要求书

1.一种数据快速采集系统，其特征在于，包括，

Kafka Connect组件，用于进行数据采集；

数据下沉组件，在分布式内存文件系统Alluxio中设计，用于连接上述Kafka Connect组件，并将Kafka Connect组件采集的数据存储到存储系统中；

存储系统，用于存储来自数据下沉组件的数据。

2.根据权利要求1所述的一种数据快速采集系统，其特征在于，所述数据下沉组件在分布式内存文件系统Alluxio启用分层存储后，提供分配、回收策略和预留空间的规则，其中，

分配规则采用轮询调度分配的方式，即分配数据块到有空间的最高存储层，存储目录通过轮询调度选出；

回收策略采用LRFU回收，即基于权重分配的最近最少使用和最不经常使用策略来移除数据块；

预留空间规则是指每层存储预留空间比例。

3.根据权利要求2所述的一种数据快速采集系统，其特征在于，所述存储系统采用分布式存储系统HDFS，并配置在MEM、SSD或HDD存储结构中，相对应的，数据下沉组件提供的预留空间规则为：MEM预留0.4，SSD预留0.2，HDD不启用预留。

4.根据权利要求1、2或3所述的一种数据快速采集系统，其特征在于，所述KafkaConnect组件中提供SourceConnector抽象类、SinkConnector抽象类、SinkTask抽象类，相对应的，数据下沉组件中提供继承自Kafka Connect组件中抽象类的下述结构：

AlluxioFileStreamSinkConnectork类，继承自抽象类SinkConnector，用于读取与Alluxio相关的配置参数，这里的配置参数包括Alluxio的URI地址、文件路径、文件类型、文件名称生成策略、以及文件滚动策略；

AlluxioFileStreamSinkTask类，继承自抽象类SinkTask，通过循环处理接收到的数据，将它们按照HDFS中对应的文件格式写入Alluxio分布式内存文件系统。

5.根据权利要求4所述的一种数据快速采集系统，其特征在于，所述AlluxioFileStreamSinkTask类还用于刷写数据到Alluxio文件系统以及提交已经当前消费的Topic各个分区的偏移量信息。

6.一种数据快速采集方法，其特征在于，基于权利要求1-5所述的数据快速采集系统，其实现过程为：

一、首先启动Alluxio集群，通过Alluxio分布式内存文件系统设计数据下沉组件；

二、将设计的数据下沉组件的Jar包分发到安装Kafka Connect组件的集群中每个节点机器的类加载路径；

三、通过Kafka Connect组件进行数据采集；

四、数据下沉组件将Kafka Connect组件采集的数据存储到分布式存储系统HDFS中。

7.根据权利要求6所述的一种数据快速采集方法，其特征在于，在步骤二中进行数据下沉组件的分发时，还需要配置数据采集的connector.class为AlluxioFileStreamSink，然后启动数据下沉组件进行数据采集。

8.根据权利要求6或7所述的一种数据快速采集方法，其特征在于，所述步骤四中通过数据下沉组件实现数据下沉包括：

AlluxioFileStreamSinkConnectork类通过以下命令：start(Map<String, String>config)，读取有关Alluxio的相关配置参数，这里的配置参数包括Alluxio的URI地址、文件路径、文件类型、文件名称生成策略、以及文件滚动策略；

AlluxioFileStreamSinkTask类通过以下命令：put(Collection<SinkRecord>records)，循环处理接收到的数据，将它们按照HDFS中对应的文件格式写入Alluxio分布式内存文件系统，然后再将处理后的数据存储到HDFS中。