[发明专利]一种网络地址的处理方法、计算设备及可读存储介质

说明书

本发明公开了一种网络地址的处理方法，包括步骤：获取网络日志所包含的多个网络地址；分别获取每个网络地址所包含的网络路径，以得到多个网络路径；分别获取每个网络路径的目录结构；按照目录结构所包含的子目录的个数，将多个网络路径划分为至少一个集合；对于所划分的每个集合，根据该集合中的网络路径的目录结构生成一个树结构；自上而下地对该树结构中每一个非叶节点下的子节点进行合并；根据合并后的树结构获取至少一个新的网络路径；以及根据所获取的新的网络路径得到新的网络地址。本发明还公开了一种计算设备和计算机可读存储介质。

技术领域

本发明涉及日志分析技术领域，尤其涉及一种网络地址的处理方法、计算设备及可读存储介质。

背景技术

随着网络通信技术的迅速发展、所承载信息的日益丰富，互联网已成为人类社会重要的基础设施，越来越多的企业或者个人通过网络服务器以及服务器中驻留的应用向用户提供网络内容和服务。对运营这些网络服务器的企业或者个人来说，需要对网络服务器产生的日志进行分析，从而了解网络服务器的运行和访问情况。

其中，某些场景下，对网络服务器的海量日志进行分析时，需要从中提取出该网络服务器的网络地址，对这些网络地址指向的网络内容进行分析。但由于提取出的网络地址数量庞大，为了降低数量级，减少工作量，通常只能从中采样进行分析。

然而，这些网络地址中可能包含大量的低价值地址和少量的高价值地址，采样的方法极有可能遗漏其中的高价值地址，影响最后的分析结果。

因此，迫切需要一种在减少网络地址数量的同时保证其分析质量的网络地址处理方案。

发明内容

为此，本发明提供一种网络地址的处理方案，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种网络地址的处理方法，包括步骤：获取网络日志所包含的多个网络地址；分别获取每个网络地址所包含的网络路径，以得到多个网络路径；分别获取每个网络路径的目录结构；按照目录结构所包含的子目录的个数，将多个网络路径划分为至少一个集合；对于所划分的每个集合，根据该集合中的网络路径的目录结构生成一个树结构；自上而下地对该树结构中每一个非叶节点下的子节点进行合并；根据合并后的树结构获取至少一个新的网络路径；以及根据所获取的新的网络路径得到新的网络地址。

可选地，在根据本发明的方法中，网络路径的目录结构包括该网络路径所包含的子目录以及子目录的层级关系。

可选地，在根据本发明的方法中，同一个集合中的网络路径的目录结构包括相同数目个子目录。

可选地，在根据本发明的方法中，树结构以集合中网络路径的目录结构中的子目录为子节点，其层级关系对应于集合中网络路径的目录结构的层级关系。

可选地，在根据本发明的方法中，对该树结构中每一个非叶节点下的子节点进行合并的步骤包括：对该非叶节点下的子节点，将其中具有相同值的部分子节点合并为一个子节点；将其中超过预定数目的、具有不同值的部分子节点合并为一个可变子节点；其中部分子节点含有的子树为合并后的子节点的子树。

可选地，在根据本发明的方法中，预定数目为1000。

可选地，在根据本发明的方法中，获取每个网络地址所包含的网络路径的步骤包括：至少去除网络地址中网络服务器的缺省地址，以得到网络路径；以及根据网络路径得到网络地址的步骤包括：在网络路径前添加网络服务器的缺省地址，以得到网络地址。

可选地，在根据本发明的方法中，在分别获取每个网络地址所包含的网络路径之后，还包括步骤：去除多个网络路径中重复的部分。