[发明专利]日志信息的处理方法、装置、服务器及存储介质

说明书

本公开关于一种日志信息的处理方法、装置、服务器及存储介质。该方法包括：根据数据的规模等级确定采样比例，并根据采样比例，采用预设选取方式选取用户设备，作为目标用户设备；获取目标用户设备的日志信息，并将日志信息同步至消息队列；从消息队列中，获取采用预设选取方式选取的目标用户设备的日志信息，并确定与日志信息对应的采样日志信息规模；根据采样日志信息规模以及采样比例，确定所有用户设备的日志信息规模。本公开通过根据选取的目标用户设备的日志信息以及采样比例确定日志信息规模，实现了准确获取日志信息，且不需要大量存储资源、计算资源、以及网络传输资源的同时真实反映日志信息规模的效果。

技术领域

本公开实施例涉及数据处理技术，尤其涉及一种日志信息的处理方法、装置、服务器及存储介质。

背景技术

随着网络技术的发展，用户在生活中对网络的依赖性越来越大，产生的数据也越来越多，尤其是在一些大型活动中，比如春节联欢晚会中，会出现日志信息突增，难以为数据消费方提供稳定可靠实时的日志信息规模。

相关技术中，采用全量日志上传方案，按照指定维度，实时计算全量日志的日志信息规模。需要大量的网络传输资源、存储资源以及计算资源保证数据无延迟以及日志信息规模计算准确。

发明内容

本公开实施例提供一种日志信息的处理方法、装置、服务器及存储介质，以至少解决相关技术中确定日志信息规模时需要消耗大量资源的问题。本公开实施例的技术方案如下：

根据本公开实施例的第一方面，提供一种日志信息的处理方法，包括：

根据数据的规模等级确定采样比例，并根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备；

获取所述目标用户设备的日志信息，并将所述日志信息同步至消息队列；

从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息，并确定与所述日志信息对应的采样日志信息规模；

根据所述采样日志信息规模以及所述采样比例，确定所有用户设备的日志信息规模。

可选的，所述根据所述采样比例，采用预设选取方式选取用户设备，作为目标用户设备步骤包括：

获取用户设备的设备标识，并确定所述设备标识对应的第一哈希值；

确定所述第一哈希值对预设第一步长的第一余数，并根据所述预设第一步长以及所述采样比例，确定第二步长；

根据所述第二步长从所述第一余数中选取余数作为备选余数，并确定与所述备选余数对应的设备标识，将与确定的设备标识对应的用户设备作为所述目标用户设备；

相应的，所述从所述消息队列中，获取采用所述预设选取方式选取的目标用户设备的日志信息步骤包括：

获取所述消息队列中日志信息对应的设备标识，并确定所述设备标识对应的第二哈希值；

确定所述第二哈希值对所述预设第一步长的第二余数，从所述第二余数中确定所述备选余数匹配的目标余数，并确定所述目标余数对应的目标设备标识；

从所述消息队列中，获取与所述目标设备标识对应的日志信息。

可选的，所述根据所述预设第一步长以及所述采样比例，确定第二步长步骤包括：

确定所述预设第一步长与所述采样比例的乘积为所述第二步长；

相应的，所述根据所述第二步长从所述第一余数中选取余数作为备选余数步骤包括：

将所有第一余数按照大小顺序排序，并在排序后的所有第一余数中选取与所述第二步长对应个数的余数段，将所述余数段中的余数作为所述备选余数。

可选的，所述设备标识为用户设备ID。