[发明专利]一种混合网络环境数据采集方法及系统

权利要求书

1.一种混合网络环境数据采集方法，其特征在于，包括：

根据本地的计算资源的计算能力和当前需要处理的数据采集任务的计算量确定是否发送数据采集任务至数据收集系统中进行计算资源扩容处理；

如果是，则数据收集系统将数据采集任务发送至协调中心；

数据收集系统根据数据采集任务的计算量通知资源中心调用计算资源，并在计算资源中启动Flume-Proxy进程，其中，包括所述数据收集系统根据各计算资源的资源负荷情况通知所述资源中心为数据收集任务调用对应类型的计算资源；

所述计算资源包括容器、虚拟机和/或物理机中的一种或多种；

数据收集系统向Flume-Proxy进程发送任务启动指令；

Flume-Proxy进程响应于任务启动指令从协调中心获取并启动Flume-NG进程执行所述数据采集任务。

2.根据权利要求1所述的混合网络环境数据采集方法，其特征在于，所述数据收集系统将数据采集任务发送至协调中心包括：

数据收集系统将数据采集任务分解为若干子任务；

数据收集系统将所述子任务发送至协调中心。

3.根据权利要求2所述的混合网络环境数据采集方法，其特征在于，所述数据收集系统根据数据采集任务的计算量通知资源中心调用计算资源，并在计算资源中启动Flume-Proxy进程包括：

数据收集系统根据每个子任务的计算量通知资源中心调用对应的计算资源，并在对应的计算资源中启动Flume-Proxy进程；

所述数据收集系统向Flume-Proxy进程发送任务启动指令包括：

数据收集系统向启动的Flume-Proxy进程发送指向子任务的任务启动指令；

所述Flume-Proxy进程响应于任务启动指令从协调中心获取并启动Flume-NG进程执行所述数据采集任务包括：

Flume-Proxy进程响应于任务启动指令从协调中心获取并启动Flume-NG进程执行所述任务启动指令所指向的子任务。

4.根据权利要求1所述的混合网络环境数据采集方法，其特征在于，所述Flume-NG进程之间利用Kafka作为数据采集任务之间的消息中间件。

5.根据权利要求2所述的混合网络环境数据采集方法，其特征在于，所述数据收集系统根据数据采集任务的计算量通知资源中心调用计算资源包括：

数据收集系统根据数据采集任务的计算量与任务分配原则通知资源中心调用计算资源；

所述任务分配原则包括：优先使用剩余可用资源最大的计算资源的原则、同一个数据采集任务的子任务分配至同一类型的计算资源的原则、优先使用容器和/或虚拟机的原则的一种或多种的组合。

6.根据权利要求1所述的混合网络环境数据采集方法，其特征在于，所述方法还包括：

Flume-Proxy进程定期向协调中心写入本节点的资源负荷情况；

数据收集系统从协调中心获取资源中心中每种计算资源的负荷情况。

7.一种混合网络环境数据采集系统，其特征在于，包括：

数据收集系统，用于根据本地的计算资源的计算能力和当前需要处理的数据采集任务的计算量确定是否发送数据采集任务至数据收集系统中进行计算资源扩容处理，如果是，则将数据采集任务发送至协调中心，根据数据采集任务的计算量向资源中心发送资源调用通知，还用于向资源中心发送任务启动指令；

协调中心，用于接收来自数据收集系统的数据采集任务，并将数据采集任务发送至资源中心，其中，包括所述数据收集系统根据各计算资源的资源负荷情况通知所述资源中心为数据收集任务调用对应类型的计算资源；

资源中心，用于响应于数据收集系统的资源调用通知调用计算资源，并在计算资源中启动Flume-Proxy进程，Flume-Proxy进程响应于任务启动指令从协调中心获取并启动Flume-NG进程执行所述数据采集任务，所述计算资源包括容器、虚拟机和/或物理机中的一种或多种。