[发明专利]一种非人为访问日志的过滤方法及装置

权利要求书

1.一种非人为访问日志的过滤方法，其特征在于，所述方法包括：

过滤掉符合预设条件的访问日志，得到第一标准日志；

基于所述第一标准日志过滤掉预定时间段内的访问日志，得到第二标准日志；

从所述第一标准日志获取日志中URL前缀，得到前缀集合；

依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志。

2.根据权利要求1所述的方法，其特征在于，所述依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志，包括：

采用hash表遍历所述前缀集合的每个日志中URL前缀，并采用经典链列表方法解决hash冲突问题；

在所述第二标准日志中具有相同的所述日志中URL前缀的访问日志所占比例大于预设阈值的情况下，过滤掉具有相同的所述日志中URL前缀的访问日志。

3.根据权利要求1或2所述的方法，其特征在于，所述日志中URL前缀为URL最后一个斜杠前的部分。

4.根据权利要求1或2所述的方法，其特征在于，所述符合所述预设条件的访问日志为：

“jpg”、“jpeg”以及“avi”作为结尾的访问URL、不使用GET方式请求的URL及HTTP状态码为400的访问日志。

5.根据权利要求1或2所述的方法，其特征在于，所述预定时间段为22：00至8:00之间。

6.一种非人为访问日志的过滤装置，其特征在于，所述装置包括：

第一过滤模块，用于过滤掉符合预设条件的访问日志，得到第一标准日志；

第二过滤模块，用于基于所述第一标准日志过滤掉预定时间段内的访问日志，得到第二标准日志；

集合模块，用于从所述第一标准日志获取日志中URL前缀，得到前缀集合；

第三过滤模块，用于依据所述前缀集合对所述第二标准日志进行过滤，得到过滤结果日志。

7.根据权利要求6所述的装置，其特征在于，所述第三过滤模块包括：

采用hash表遍历所述前缀集合的每个日志中URL前缀，并采用经典链列表装置解决hash冲突问题；

在所述第二标准日志中具有相同的所述日志中URL前缀的访问日志所占比例大于预设阈值的情况下，过滤掉具有相同的所述日志中URL前缀的访问日志。

8.根据权利要求6或7所述的装置，其特征在于，所述日志中URL前缀为URL最后一个斜杠前的部分。

9.根据权利要求6或7所述的装置，其特征在于，所述符合所述预设条件的访问日志为：

“jpg”、“jpeg”以及“avi”作为结尾的访问URL、不使用GET方式请求的URL及HTTP状态码为400的访问日志。

10.根据权利要求6或7所述的装置，其特征在于，所述预定时间段为22：00至8:00之间。

11.一种计算机设备，其特征在于，包括处理器和存储器；

所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现权利要求1至5中任一项所述的非人为访问日志的过滤方法。

12.一种计算机可读介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至5中任一项所述的非人为访问日志的过滤方法。