[发明专利]一种非人为访问日志的过滤方法及装置

说明书

技术领域

本发明涉及访问日志过滤领域，尤其涉及一种非人为访问日志的过滤方法及装置。

背景技术

网关，位置上介于客户端和服务器中间，具有日志丰富、用户和网页众多的特点。这个位置特点决定了它包含了大量人员和访问的网页信息。因而为研究大规模用户访问行为、网页分类任务、挖掘用户点击数据提供了十分便利的条件。

然而，网关日志复杂多变，网页数目众多，所以需要区分人为访问和非人为访问。所谓非人为访问，即不是由人主动产生的访问行为，非人为访问包括软件自动更新、广告自动弹出等行为。因为非人为访问本身分析价值低，但其规模巨大，因此，可能会对正常的网络日志挖掘和用户行为分析产生不必要的干扰。所以如何快速有效地过滤网关侧的高频的非人为访问，对提升日志挖掘效率、分析用户行为乃至检测内部安全威胁具有重要意义。

发明内容

本发明的主要目的在于提出一种非人为访问日志的过滤方法及装置，可以快速有效地过滤高频的非人为访问，对提升日志挖掘效率、分析用户行为乃至检测内部安全威胁均具有重要意义。

根据本发明的一个方面，提供了一种非人为访问日志的过滤方法，所述方法包括：

过滤掉符合预设条件的访问日志，得到第一标准日志；

基于所述第一标准日志过滤掉预定时间段内的访问日志，得到第二标准日志；

从所述第一标准日志获取日志中URL前缀，得到前缀集合；

依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志。

可选的，所述依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志，包括：采用hash表遍历所述前缀集合的每个日志中URL前缀，并采用经典链列表方法解决hash冲突问题；在所述第二标准日志中具有相同的所述日志中URL前缀的访问日志所占比例大于预设阈值的情况下，过滤掉具有相同的所述日志中URL前缀的访问日志。

可选的，所述日志中URL前缀为URL最后一个斜杠前的部分。

可选的，所述符合所述预设条件的访问日志为：“jpg”、“jpeg”以及“avi”作为结尾的访问URL、不使用GET方式请求的URL及HTTP状态码为400的访问日志。

可选的，所述预定时间段为22：00至8:00之间。

根据本发明的第二个方面，提供了一种非人为访问日志的过滤装置，所述装置包括：

第一过滤模块，用于过滤掉符合预设条件的访问日志，得到第一标准日志；第二过滤模块，用于基于所述第一标准日志过滤掉预定时间段内的访问日志，得到第二标准日志；集合模块，用于从所述第一标准日志获取日志中URL前缀，得到前缀集合；第三过滤模块，用于依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志。

可选的，所述第三过滤模块包括：采用hash表遍历所述前缀集合的每个日志中URL前缀，并采用经典链列表装置解决hash冲突问题；在所述第二标准日志中具有相同的所述日志中URL前缀的访问日志所占比例大于预设阈值的情况下，过滤掉具有相同的所述日志中URL前缀的访问日志。

可选的，所述日志中URL前缀为URL最后一个斜杠前的部分。

可选的，所述符合所述预设条件的访问日志为：“jpg”、“jpeg”以及“avi”作为结尾的访问URL、不使用GET方式请求的URL及HTTP状态码为400的访问日志。

可选的，所述预定时间段为22：00至8:00之间。

根据本发明的第三个方面，提供了一种计算机设备，包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现上述的非人为访问日志的过滤方法。

所述方法包括：

过滤掉符合预设条件的访问日志，得到第一标准日志；

基于所述第一标准日志过滤掉预定时间段内的访问日志，得到第二标准日志；

从所述第一标准日志获取日志中URL前缀，得到前缀集合；

依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志。

可选的，所述依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志，包括：采用hash表遍历所述前缀集合的每个日志中URL前缀，并采用经典链列表方法解决hash冲突问题；在所述第二标准日志中具有相同的所述日志中URL前缀的访问日志所占比例大于预设阈值的情况下，过滤掉具有相同的所述日志中URL前缀的访问日志。

可选的，所述日志中URL前缀为URL最后一个斜杠前的部分。