[发明专利]日志内容及日志数据的筛选方法、装置、系统、可读介质

说明书

一种日志内容及日志数据的筛选方法、装置、系统、可读介质，所述日志内容的筛选方法包括：接收客户端发送的日志过滤条件；基于所接收的过滤条件，利用云端计算资源对分布式文件系统中的日志数据进行过滤以获取满足所述过滤条件的日志数据，并生成执行结果信息；将所述执行结果信息或者满足所述过滤条件的日志数据反馈至所述客户端。应用上述方案，可以充分利用云端计算资源的计算能力，在云端对日志数据进行筛选，避免客户端下载后再次筛选日志数据的繁琐处理，从而可以节省网络带宽和本地计算资源。

技术领域

本发明实施例涉及大数据处理领域，尤其涉及一种日志内容及日志数据的筛选方法、装置、系统、可读介质。

背景技术

随着互联网的应用普及，产生了海量的日志数据，日志数据记录了每一次的互联网数据交互。通过对日志数据进行分析，可以重现每次数据访问的场景；而对海量日志数据的分析，可以充分了解用户行为，为企业战略决策提供数据支持。

在现有的实现方案中，当客户端需要获取日志数据时，通过文件传输协议(FileTransfer Protocol，FTP)或者超文本传输协议(Hyper Text Transfer Protocol，HTTP)将日志数据下载到本地，然后再进行筛选，获取期望的日志数据内容。

现有的通过FTP或者HTTP将日志数据下载到本地再进行筛选，当日志数据很大时，会浪费网络带宽及有限的本地计算资源。

发明内容

本发明实施例解决的技术问题是如何减少日志筛选处理时间，节省网络带宽及本地计算资源。

为解决上述技术问题，本发明实施例提供一种日志内容的筛选方法，所述方法包括：接收客户端发送的日志过滤条件；基于所接收的过滤条件，利用云端计算资源对分布式文件系统中的日志数据进行过滤以获取满足所述过滤条件的日志数据，并生成执行结果信息；将所述执行结果信息或者满足所述过滤条件的日志数据反馈至所述客户端。

可选地，所述日志过滤条件为：日志类型、日志开始时间、日志结束时间、域名及以下至少一项：统一资源定位符、HTTP状态码、服务端IP地址。

可选地，所述接收客户端发送的日志过滤条件包括：通过Web端接收所述客户端发送的日志过滤条件，并将所接收的日志过滤条件转换为预设格式的条件参数。

可选地，通过所述Web端将所述执行结果信息或者满足所述过滤条件的日志数据反馈至所述客户端。

可选地，所述基于所接收的过滤条件，利用云端计算资源对分布式文件系统中的日志数据进行过滤以获取满足所述过滤条件的日志数据，并生成执行结果信息包括：分配Spark分布式计算单元；基于预设格式的条件参数，利用分配的Spark分布式计算单元对分布式文件系统中的日志数据进行过滤以获取满足所述过滤条件的日志数据，并生成执行结果信息；将所述执行结果信息反馈至所述Web端。

可选地，所述利用分配的Spark分布式计算单元对分布式文件系统中的日志数据进行过滤以获取满足所述过滤条件的日志数据，并生成执行结果信息包括：对分布式文件系统中的日志数据对应的文件名称进行过滤；对满足所述过滤条件的文件名称对应的日志记录进行逐行过滤，以获取满足所述过滤条件的日志数据；基于是否成功获取满足所述过滤条件的日志数据，生成执行结果信息。

可选地，所述基于是否成功获取满足所述过滤条件的日志数据，生成执行结果信息包括：当成功获取满足所述过滤条件的日志数据时，生成所述执行结果信息如下：满足所述过滤条件的日志数据的大小信息及在分布式文件系统中的存放位置信息；当未成功获取满足所述过滤条件的日志数据时，生成所述执行结果信息如下：执行失败的原因信息。