[发明专利]基于服务器集群的服务器实时数据处理方法及系统

说明书

本申请提供了基于服务器集群的服务器实时数据处理方法及系统；其中，该方法包括：采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将格式转换后的服务器实时数据写入消息队列；采用至少一种数据解析插件，对消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。通过本申请，能够更好地支持大规模服务器运营场景中实时数据处理需求，提升数据应用场景覆盖率及运营数据处理效率，降低运营成本。

技术领域

本申请涉及但不限于大数据技术领域，尤其涉及一种基于服务器集群的服务器实时数据处理方法及系统。

背景技术

随着云服务业务的发展，各云服务运营商和使用方越来越重视用户业务运行的稳定性和持续性，从而对服务器的数据运营能力也提出了更高的要求。相关技术中，针对服务器的数据运营只能提供对较小规模的服务器运营场景的数据支撑能力，数据应用场景的覆盖面较小，无法很好地对百万级服务器甚至千万级服务器的运营场景提供数据支撑，特别是无法满足实时业务场景中的数据处理及分析需求。

发明内容

本申请实施例提供一种基于服务器集群的服务器实时数据处理方法及系统，能够更好地支持大规模服务器运营场景中的实时数据处理及分析需求，从而可以增强服务器运营的数据支撑能力，提升服务器运营领域数据应用场景覆盖率，并且能够提升运营数据的处理效率，降低人工运营成本。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种基于服务器集群的服务器实时数据处理方法，包括：

采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；

对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；

采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。

本申请实施例提供一种基于服务器集群的服务器实时数据处理系统，包括：

数据采集服务，用于采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；

数据适配服务，用于对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；

数据解析服务，用于采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求。

在一些实施例中，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。

在一些实施例中，所述数据采集服务还用于：针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道；采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。

在一些实施例中，所述数据适配服务还用于：针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。