[发明专利]适用于分布式流量采集的管理方法、系统及存储介质

说明书

本发明提供一种适用于分布式流量采集的管理方法、系统及存储介质，预先部署多个分布式采集服务器于目标场所，包括：获取每个分布式采集服务器的流量数据，所述流量数据包括流量信息和时间信息；基于每个分布式服务器的流量信息和时间信息对所述不同的采集服务器采取不同的调控方式；当对分布式服务器进行调控后，且所述流量信息依旧大于第一预设值，则输出提醒数据。能够根据数据量的多少选择不同的处理方式，并且在数据量过大时进行有效的提醒，进而保障即使数据量过大时，也可以通过不同的处理方式保障数据不会出现丢失的情况。

技术领域

本发明涉及分布式数据采集、处理技术，尤其涉及一种适用于分布式流量采集的管理方法、系统及存储介质。

背景技术

公司有IDC业务的机房基本上都有2台以上的交换机，每台交换机上的端口有数十个、数百个之多，对这些端口上的流量数据的采集和监控，必须要有一定数量的服务器来分工，而IDC机房分布于全国数十个城市，存在于中国电信、中国联通、中国移动等不通的运营商，为保证采集的准确性和稳定性，采集服务器也需要分布式的部署于多个不同运营商的机房中，但是在采集服务器进行数据采集的过程中，由于一段时间的数据量较大，很可能会出现数据丢失的问题。

发明内容

本发明实施例提供一种适用于分布式流量采集的管理方法、系统及存储介质，能够根据数据量的多少选择不同的处理方式，并且在数据量过大时进行有效的提醒，进而保障即使数据量过大时，也可以通过不同的处理方式保障数据不会出现丢失的情况。

本发明实施例的第一方面，提供一种适用于分布式流量采集的管理方法，预先部署多个分布式采集服务器于目标场所，包括：

获取每个分布式采集服务器的流量数据，所述流量数据包括流量信息和时间信息；

基于每个分布式服务器的流量信息和时间信息对所述不同的采集服务器采取不同的调控方式；

当对分布式服务器进行调控后，且所述流量信息依旧大于第一预设值，则输出提醒数据。

可选地，在第一方面的一种可能实现方式中，所述基于每个分布式服务器的流量信息和时间信息对所述不同的采集服务器采取不同的调控方式包括：

预先设置一段时间；

获取位于所述一段时间内的所有时间信息对应的流量信息，并对所有时间信息对应的流量信息进行求和计算生成总量信息；

当所述总量信息大于预设值时采取不同的调控方式。

可选地，在第一方面的一种可能实现方式中，预先每一个分布式采集服务器处设置备用处理服务器；

所述采取不同的调控方式包括：

当所述任意一个分布式服务器的总量信息大于预设值时，调用所述处理服务器采集流量数据。

可选地，在第一方面的一种可能实现方式中，通过以下公式计算备用处理服务器采集流量数据的值X，包括：

其中，所述P为任意一个时间信息对应的流量信息，所述n为一段时间内的时间信息的数量，P_i为在时间信息为i时对应的流量信息，k₁为备用处理服务器的额定采集量，所述k₂为分布式服务器的额定采集量。

可选地，在第一方面的一种可能实现方式中，当所述备用处理服务器以及分布式服务器的数量不为1时，通过以下公式计算处理服务器采集流量数据的值X，包括：

其中,L₁为备用处理服务器的数量，L₂分布式服务器的数量。