[发明专利]一种访问日志的处理方法、装置、计算机设备和存储介质

权利要求书

1.一种访问日志的处理方法，其特征在于，应用于分布式系统Hadoop，所述分布式系统Hadoop包括分布式文件系统、分布式计算节点，所述方法包括：

采集网站服务器在用户访问页面时生成的日志文件；

识别所述日志文件中所包含的数据的维度；

针对每个所述维度生成一个或多个分布式计算节点；

当接收到统计任务时，将所述统计任务拆分为多个维度、以组成链路；

按照所述链路的顺序依次在所述分布式计算节点中对所述日志文件聚类，获得日志簇；

对所述日志簇中的所述日志文件进行统计，获得统计结果；

将所述统计结果存储至分布式文件系统中。

2.根据权利要求1所述的方法，其特征在于，所述针对每个所述维度生成一个或多个分布式计算节点，包括：

为每个所述维度创建一个或多个分布式计算节点，所述分布式计算节点包括映射节点、规约节点；

获取对所述维度配置的筛选规则；

将所述筛选规则写入所述映射节点中；

将所述规约节点配置为输出所述映射节点筛选的所述日志文件。

3.根据权利要求1所述的方法，其特征在于，所述将所述统计任务拆分为多个维度、以组成链路，包括：

识别所述统计任务中数据所属的维度；

将当前所述统计任务对应的所述维度与其他所述统计任务对应的链路进行比较，以确定当前所述统计任务的链路的头部；

针对当前所述统计任务的链路的尾部，查询为每个所述维度生成的所述分布式计算节点的负载状态；

按照所述负载状态将所述维度组成当前所述统计任务的链路的尾部；

将所述头部与所述尾部拼接为当前所述统计任务的链路。

4.根据权利要求3所述的方法，其特征在于，所述将当前所述统计任务对应的所述维度与其他所述统计任务对应的链路进行比较，以确定当前所述统计任务的链路的头部，包括：

针对其他所述统计任务确定变量，所述变量初始为其他所述统计任务对应的链路中首个维度；

将当前所述统计任务对应的所述维度与所述变量进行比较；

若当前所述统计任务对应的所述维度与所述变量相同，则将当前所述统计任务对应的所述维度拼接至子串中；

将其他所述统计任务对应的链路中下一个维度写入所述变量，返回执行所述针对其他所述统计任务确定变量；

若当前所述统计任务对应的所述维度与所述变量不同，则对其他所述统计任务输出子串；

将所有其他所述统计任务对应的所述子串进行比较；

选择长度最长的所述子串为当前所述统计任务的链路的头部。

5.根据权利要求3所述的方法，其特征在于，所述按照所述负载状态将所述维度组成当前所述统计任务的链路的尾部，包括：

按照所述负载状态对所述维度进行升序排序；

将升序排序之后的所述维度组成当前所述统计任务的链路的尾部。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述按照所述链路的顺序依次在所述分布式计算节点中对所述日志文件聚类，获得日志簇，包括：

判断是否遍历完所述链路；

若是，则输出所述日志文件，作为日志簇；

若否，则将所述日志文件输入下一个所述维度对应的所述分布式计算节点，在所述分布式计算节点中筛选所述维度之下的所述日志文件，返回执行所述判断是否遍历完所述链路。

7.根据权利要求6所述的方法，其特征在于，所述分布式计算节点包括映射节点、规约节点；所述在所述分布式计算节点中筛选所述维度之下的所述日志文件，包括：

在所述映射节点中按照为所述维度配置的筛选规则筛选所述日志文件；

在所述规约节点中输出所述映射节点筛选的所述日志文件。