[发明专利]一种基于云计算的分布式数据采集系统及方法

说明书

技术领域

本发明涉及云计算技术领域，特别是涉及一种基于云计算的分布式数据采集系统及方法。

背景技术

当前，云计算(Cloud Computing)，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个统一资源池向用户提供按需服务。云计算(Cloud Computing)是网格计算(GridComputing)、分布式计算(Distributed Computing)、并行计算(ParallelComputing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

在云计算平台中，需要将大量用网络连接的计算资源信息采集同步到云计算平台中，进行统一管理和调度。需要采集的数据包括云服务器信息，资源运行时信息、虚拟化管理软件信息等。这些云服务器被虚拟化管理软件(VMS：virtualization Management Software)统一管理，云计算平台通过调用各类VMS的API接口，实现对各类云服务器中资源的统一管理及调度，与此同时，VMS中的各类信息需要同步到云计算平台中，数据采集及信息同步，涉及到了数据采集方法。数据采集方法的优劣，直接关系到云计算平台对云资源的调度能力。

现有的数据采集方法中，普遍存在两种模式，第一中模式通常在VMS中部署采集代理程序，云计算平台通过与采集代理程序通信，以获取VMS中的相关数据。在这种模式中，采集代理程序需要消耗VMS中的资源，在采集任务异常的情况下，需要人工进行调整，从而导致成本增加、维护难度大等问题。另外一种模式通常部署独立的采集服务器，通过调用VMS中的相关接口，实现数据采集。在这种模式中，不需要在VMS中安装代理程序，采用多线程轮询执行采集操作，所有需要采集的数据将一次性采集完成，如果数据采集出现排队现象，一旦第一个线程执行出错，就会发生堵塞，导致队列中其后的所有线程都无法运行，无法及时采集VMS中的相关信息，容易造成数据冗余。对于大批量信息的采集，这种方式还会造成采集时间过长等问题。

发明内容

鉴于本发明的目的在于提供一种基于云计算的分布式数据采集系统，其包括：由至少一个服务器构成的云服务器、用于管理所述云服务器的至少一个虚拟化管理软件(VMS)，至少一个用于信息采集的Discover节点，一个Collect节点和一个云计算平台，其特征在于：

所述云服务器用于在云计算环境中提供IT基础设施的被虚拟化后的服务器，可以是单台服务器，也可以是一组集群服务器；

所述虚拟化管理软件至少管理一台云服务器，并连接到一个Discover节点，用于在虚拟化层进行资源调度管理，对下接管云服务器中的资源，向云服务器分发调度指令，并对云服务器进行监控；对上向所述Discover节点提供各类API接口，以便所述Discover节点通过虚拟化管理软件提供的API接口获取虚拟化管理软件中的信息；

所述Discover节点连接一个提供信息采集API接口的虚拟化管理软件，用于按周期调用虚拟化管理软件提供的API获取虚拟化管理软件中的信息，将采集到的信息汇报到所述云计算平台中；

所述Collect节点连接到至少一个Discover节点，用于设置采集任务及各采集任务的采集时钟周期，并将设置信息下发到Collect节点连接的所有Discover节点中；

所述云计算平台连接至少一个Discover节点和所述Collect节点，用于设置Collect节点的采集任务及采集周期，接收Discover节点采集到的信息，并对云环境中的资产、资源、模板进行管理，将云计算环境中的IT资源以服务的方式交付给用户使用，并且在此基础上实现监控及计费。

进一步，本发明所述的基于云计算的分布式数据采集系统，其特征在于所述虚拟化管理软件、所述Discover节点、所述Collect节点和所述云计算平台均可分别单独部署在PC、PC Server或虚拟机中。

进一步，本发明所述的基于云计算的分布式数据采集系统，其特征在于所述采集任务包括：资产信息采集、资源信息采集、模板信息采集、告警信息采集任务。