[发明专利]基于服务器集群的服务器实时数据处理方法及系统

权利要求书

1.一种基于服务器集群的服务器实时数据处理方法，其特征在于，包括：

采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据；一种数据采集通道对应一种类型的服务器实时数据，不同数据采集通道用于采集不同类型的服务器实时数据；数据采集通道基于数据采集服务进行服务器实时数据的采集；所述至少一个服务器上部署有数据采集通道对应的数据采集代理；所述数据采集代理实时从所述至少一个服务器中采集与相应数据采集通道对应类型的服务器实时数据，并将采集到的服务器实时数据通过相应数据采集通道上传至所述数据采集服务；

对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，并将所述格式转换后的服务器实时数据写入消息队列；

采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据；所述实时指标数据用于实时大数据处理框架进行计算处理，以支撑服务器实时数据运营需求；不同的数据解析插件基于不同的服务器实时数据运营需求开发得到；一种数据解析插件对应一种数据解析策略，一种数据解析插件用于按照对应的数据解析策略对一种类型的服务器实时数据进行解析处理；数据解析策略支持实时变更，依据数据解析策略的变更，相应的数据解析插件支持重新部署；其中，用于存储所述实时指标数据的数据存储系统，依据资源隔离和数据安全的需求，按维度授权对所述实时指标数据的使用。

2.根据权利要求1所述的方法，其特征在于，所述服务器实时数据的类型包括以下至少之一：服务器硬件状态类型，服务器网络状态类型，操作系统日志类型。

3.根据权利要求1所述的方法，其特征在于，所述采用多种数据采集通道，从服务器集群的至少一个服务器中，采集不同类型的服务器实时数据，包括：

针对每一种服务器实时数据的类型，基于设定的数据采集策略，确定所述类型对应的数据采集通道；

采用每一所述数据采集通道，从服务器集群的至少一个服务器中，采集服务器实时数据。

4.根据权利要求1至3中任一所述的方法，其特征在于，所述对每一所述数据采集通道中采集的服务器实时数据进行格式转换处理，得到格式转换后的服务器实时数据，包括：

针对每一所述数据采集通道，基于所述数据采集通道的数据采集协议和设定的目标协议，将所述数据采集通道中采集的服务器实时数据的格式转换为与所述目标协议匹配的格式。

5.根据权利要求1至3中任一所述的方法，其特征在于，所述采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据，包括：

采用所述至少一种数据解析插件从所述消息队列中获取待解析的服务器实时数据；

采用所述至少一种数据解析插件中的每一数据解析插件，基于所述数据解析插件的数据解析策略，对所述待解析的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据。

6.根据权利要求1至3中任一所述的方法，其特征在于，在所述采用至少一种数据解析插件，对所述消息队列中的服务器实时数据进行解析处理，得到并存储解析后的实时指标数据之前，所述方法还包括：

获取预先配置的至少一种数据解析策略；

针对每一数据解析策略，采用微服务部署方式部署并启动所述数据解析策略对应的数据解析插件。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

监听每一数据解析策略是否发生变更；

在确定有数据解析策略发生变更的情况下，获取变更后的所述数据解析策略；

基于变更后的所述数据解析策略，采用微服务部署方式重新部署并启动所述数据解析策略对应的数据解析插件。

8.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：

采用实时大数据处理框架，至少对所述实时指标数据进行实时计算处理，得到计算结果；

采用至少一种数据存储方式，对所述计算结果进行存储，以支撑服务器实时数据运营需求。