[发明专利]数据处理方法、装置、设备和介质

说明书

本发明公开了一种数据处理方法、装置、设备和介质。该方法，包括：获取至少两个服务器中每个服务器对应的聚合结果，服务器对应的聚合结果是服务器基于预设聚合条件以及多个数值区间对服务器在预设时间段内的多个目标数据进行聚合后确定的；基于预设合并条件，对至少两个服务器的聚合结果进行合并，得到至少一个合并结果；对至少一个合并结果中的每个合并结果进行分位数统计，得到每个合并结果对应的分位数。根据本发明实施例，可以提高在大数据分布式应用场景下对分位数的计算效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、设备和介质。

背景技术

随着互联网技术的快速发展和互联网中数据信息量的不断增加，人们对互联网的依赖程度不断提高，导致对互联网的数据访问流量迅速增长。为了满足用户的需求或服务器的正常运行需求等不同的需求，需要对互联网中使用的服务器上的数据进行统计分析。

例如，可以通过对海量用户日志数据进行分析处理，以统计服务器的性能参数(例如，用户请求数据的延迟时间)以实现对服务器性能的监控。再例如，可以通过对用户的日志数据进行分析处理，以统计用户的访问信息，例如用户访问的文件大小等参数，以实现统计用户的需求。

由于被统计参数的平均值容易受最大值或最小值的影响，且最大值容易受毛刺数据的影响，而中位数或95分位数等分位数能更好的反映该参数的离散程度。但是在分布式架构下，每台服务器上的日志数据量很大，导致对性能参数的分位数计算效率较低。

发明内容

本发明实施例提供一种数据处理方法、装置、设备和介质，能够解决相关技术领域中对分位数计算效率低下的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，该包括：

获取至少两个服务器中每个服务器对应的聚合结果，所述服务器对应的聚合结果是所述服务器基于预设聚合条件以及多个数值区间对所述服务器在预设时间段内的多个目标数据进行聚合后确定的；

基于预设合并条件，对所述至少两个服务器的聚合结果进行合并，得到至少一个合并结果；

对所述至少一个合并结果中的每个合并结果进行分位数统计，得到每个所述合并结果对应的分位数。

根据本发明实施例的第二方面，提供一种数据处理装置，该装置包括：

聚合结果获取模块，用于获取至少两个服务器中每个服务器对应的聚合结果，所述服务器对应的聚合结果是所述服务器基于预设聚合条件以及多个数值区间对所述服务器在预设时间段内的多个目标数据进行聚合后确定的；

合并模块，用于基于预设合并条件，对所述至少两个服务器的聚合结果进行合并，得到至少一个合并结果；

分位数计算模块，用于对所述至少一个合并结果中的每个合并结果进行分位数统计，得到每个所述合并结果对应的分位数。

根据本发明实施例的第三方面，提供了一种数据处理设备，包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如上述第一方面提供的数据处理方法。

根据本发明实施例的第四方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如上述第一方面提供的数据处理方法。

根据本发明实施例，首先每个服务器对自身在预设时间段内的多个目标数据进行单机聚合，由于所需聚合的数据仅为单个服务器上的数据，可以提高服务器自身进行数据聚合的效率。由于每个服务器上的目标数据已经经过了一次聚合，因此在对每个服务器的聚合结果进行合并时，数据量大大减少，通过两阶段计算分位数，满足大数据分布式场景下的分位数计算要求，提高了分位数的计算效率。

附图说明