[发明专利]大数据离线计算中的源数据采集方法和系统

权利要求书

1.一种大数据离线计算中的源数据采集方法，其特征在于，包括：

通过采集集群从存储集群分布式下载源数据，所述源数据是流式地上报至所述存储集群；

将所述下载的源数据上传至离线计算数据库；

所述源数据被存储于所述离线计算数据库。

所述通过采集集群从存储集群分布式下载源数据的步骤包括：

通过所述采集集群的接口层从所述存储集群下载源数据；

将所述源数据分发至数据落地进程，所述数据落地进程分布在所述采集集群中的不同机器上。

2.根据权利要求1所述的方法，其特征在于，所述通过采集集群从存储集群分布式下载源数据的步骤之前，所述方法还包括：

所述存储集群接收流式上报的源数据，并对接收的所述源数据进行数据复制得到两份源数据；

所述存储集群对其中一份源数据进行存储，另一份源数据则供采集集群下载。

3.根据权利要求1所述的方法，其特征在于，将所述源数据分发至数据落地进程的步骤包括：

根据配置的数据源数量为所述源数据分配数据落地进程，所述配置的数据源数量为原始配置的数据源数量或者动态调整的数据源数量；

向所述分配的数据落地进程分发所述源数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

按照预置的时间间隔进行心跳数据的接收，所述心跳数据由所述数据落地进程上报；

针对所述数据落地进程，判断所述数据落地进程是否按照预置时间间隔上报心跳数据，若为否，则反馈所述数据落地进程对应的数据源故障；

根据反馈的所述数据源故障动态调整所述数据源数量，动态调整所述数据源数量用于重新为所述源数据分配数据落地进程。

5.根据权利要求1所述的方法，其特征在于，所述将所述下载的源数据上传至离线计算数据库的步骤包括：

所述数据落地进程将接收的所述源数据存储为本地数据；

汇总所述本地数据，将汇总的所述本地数据上传至离线计算数据库，通过所述本地数据的上传使得下载的源数据被上传至离线计算数据库。

6.根据权利要求5所述的方法，其特征在于，所述汇总本地离线计算数据库，将汇总的所述本地数据上传至离线计算数据库，通过所述本地数据的上传使得下载的源数据被上传至离线计算数据库的步骤之前；

所述将所述下载的源数据上传至离线计算数据库的步骤还包括：

触发进行计时以统计得到时间，在所述时间达到预设时间阈值时触发所述本地数据的汇总。

7.一种大数据离线计算中的源数据采集系统，其特征在于，所述系统包括：

分布式下载模块，用于运行于采集集群，并从存储集群分布式下载源数据，所述源数据是流式地上报至所述存储集群；

上传模块，用于将所述下载的源数据上传至离线计算数据库；

存储模块，用于将所述源数据被存储于所述离线计算数据库。

所述分布式下载模块包括：

接口层实现单元，用于实现所述采集集群的接口层从所述存储集群下载源数据；

数据分发单元，用于将所述源数据分发至数据落地进程，所述数据落地进程分布于所述采集集群中的不同机器上。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

上报处理模块，用于在所述存储集群接收流式上报的源数据，并对接收的所述源数据进行数据复制得到两份源数据；

源数据处理模块，用于在所述存储集群对其中一份源数据进行存储，另一份源数据则供采集集群下载。

9.根据权利要求7所述的系统，其特征在于，所述数据分发单元包括：

进程分配子单元，用于根据配置的数据源数量为所述源数据分配数据落地进程，所述配置的数据源数量为原始配置的数据源数量或者动态调整的数据源数量；

分发执行子单元，用于向所述分配的数据落地进程分发所述源数据。