[发明专利]一种访问日志的处理方法、装置、计算机设备和存储介质

说明书

本发明提供了一种访问日志的处理方法、装置、计算机设备和存储介质，该方法包括：采集网站服务器在用户访问页面时生成的日志文件，识别日志文件中所包含的数据的维度，针对每个维度生成一个或多个分布式计算节点，当接收到统计任务时，将统计任务拆分为多个维度、以组成链路，按照链路的顺序依次在分布式计算节点中对日志文件聚类，获得日志簇，对日志簇中的日志文件进行统计，获得统计结果，将统计结果存储至分布式文件系统中，实现了分布式系统Hadoop实时对日志文件聚类，在维度上对日志文件进行聚类，可以忽略不同统计任务之间的业务差别，大大提高了适用性，无需频繁生成线程，避免了内存溢出。

技术领域

本发明涉及大数据的技术领域，尤其涉及一种访问日志的处理方法、装置、计算机设备和存储介质。

背景技术

在互联网的各个网站中，会对外提供web(网页)应用，用户在访问这些网站提供的web应用时，网站通常生成日志文件。

在网站的某些业务上，实时统计日志文件中的数据，例如，购物网站在大型促销的活动中，会实时统计成交额，此时，网站会在线对日志文件进行处理，通常是针对一项统计生成一项任务，动态生成线程执行该任务，对日志文件中的数据进行筛选、统计。

在某些场景中，可能经常变更对日志文件统计的维度，例如，网站提供多个微服务或同时维护众多版本的游戏，在网站与客户端的连接存在波动时，对业务的质量存在影响，运维人员会将不同数据组合分析，实时寻找可能存在问题的环节，此时，网站会频繁地生成线程，线程的数量较多，部分资源没有被回收，容易造成内存溢出。

发明内容

本发明提出了一种访问日志的处理方法、装置、计算机设备和存储介质，以解决使用线程实时对日志文件进行统计容易造成内存溢出的问题。

第一方面，本发明实施例提供了一种访问日志的处理方法，应用于分布式系统Hadoop，所述分布式系统Hadoop包括分布式文件系统、分布式计算节点，所述方法包括：

采集网站服务器在用户访问页面时生成的日志文件；

识别所述日志文件中所包含的数据的维度；

针对每个所述维度生成一个或多个分布式计算节点；

当接收到统计任务时，将所述统计任务拆分为多个维度、以组成链路；

按照所述链路的顺序依次在所述分布式计算节点中对所述日志文件聚类，获得日志簇；

对所述日志簇中的所述日志文件进行统计，获得统计结果；

将所述统计结果存储至分布式文件系统中。

可选地，所述针对每个所述维度生成一个或多个分布式计算节点，包括：

为每个所述维度创建一个或多个分布式计算节点，所述分布式计算节点包括映射节点、规约节点；

获取对所述维度配置的筛选规则；

将所述筛选规则写入所述映射节点中；

将所述规约节点配置为输出所述映射节点筛选的所述日志文件。

可选地，所述将所述统计任务拆分为多个维度、以组成链路，包括：

识别所述统计任务中数据所属的维度；

将当前所述统计任务对应的所述维度与其他所述统计任务对应的链路进行比较，以确定当前所述统计任务的链路的头部；

针对当前所述统计任务的链路的尾部，查询为每个所述维度生成的所述分布式计算节点的负载状态；

按照所述负载状态将所述维度组成当前所述统计任务的链路的尾部；

将所述头部与所述尾部拼接为当前所述统计任务的链路。