[发明专利]动态部署下载机方法和动态部署下载机装置

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种动态部署下载机方法和一种动态部署下载机装置。

背景技术

随着互联网的出现，人们的工作和生活方式也随之发生了越来越多的改变。今天，丰富而实时的网络新闻与各种博客、论坛、微博等新兴媒介，正随时随地带给人们以海量的资讯与信息。正因如此，及时准确地获取及分析这些信息更为重要。

若想准确地采集和分析这些广泛而实时更新的信息，目前普遍采用的策略是分布式系统。这种系统主要部分包括调度、下载、解析等部分，其中在部署下载机时，采用固定部署方式用于抓取页面信息。这样的部署网络下载机所付出的巨大代价就是需要更多的物理设备、消耗更多的电能和管理成本。

发明内容

考虑到相关技术中出现的技术问题，本发明提供了一种下载机部署技术，可根据信息量、下载任务情况动态部署下载机。

根据本发明的一个方面，提供了一种动态部署下载机方法，包括：监测下载任务状态；根据所述下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述任一技术方案中，优选的，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；在不满足所述下载量时，开启处于关机状态的下载机。

当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否则，可选择开启合适的下载机。

根据本发明的另一方面，还提供了一种动态部署下载机装置，包括：监测单元，连接至控制单元，用于监测下载任务状态；所述控制单元，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，所述控制单元包括：判断单元，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述技术方案中，优选的，所述监测单元还用于监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；