[发明专利]一种提取网站URL的方法

说明书

本发明公开了一种提取网站URL的方法。本方法为：1)从网站访问日志中提取出URL路径；2)对提取的URL路径去重，然后统计每一URL路径的字段个数；3)按字段个数将URL路径分成多组；4)针对每一组URL路径，合并组内所有URL路径的字段列表，去重后统一编号；然后根据统一编号结果将组内每一URL路径转换成一向量，形成该组URL路径的矩阵；然后对该矩阵进行聚类，如果聚类结果中的URL路径个数超过设定阈值，则对该聚类结果进行聚合处理，识别出该聚类结果中的可变字段并将其替换为同一值；5)将各组URL路径合并形成该网站的URL路径列表。本发明可自动化的从网站海量访问日志中还原网站的所有URL。

技术领域

本发明涉及一种提取网站URL的方法，属于网络技术领域。

背景技术

某些场景下，对网站海量访问日志进行分析时，需要从中提取出网站URL列表，然后根据网站URL列表采样访问日志进行分析。

网站URL中部分字段可能是可变的，例如：/abc/def/123/index.html，/abc/def/456/index.html，/abc/def/789/index.html等，其中第三个字段是用户ID。此种情况，其实只有一个URL，即：/abc/def/*/index.html，“*”代表可变。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种提取网站URL的方法。

本发明的技术方案为：

一种提取网站URL的方法，其步骤为：

1)从网站访问日志中提取出URL路径；

2)对提取的URL路径进行去重，然后统计每一URL路径的字段个数；

3)按字段个数将URL路径分成多组，同一组内的所有URL路径的字段个数相同；

4)针对每一组URL路径，合并组内所有URL路径的字段列表，去重后统一编号；然后根据统一编号结果将组内每一URL路径转换成一向量，形成该组URL路径的矩阵；然后对该矩阵进行聚类，如果某一聚类结果中的URL路径个数超过设定阈值，则对该聚类结果进行聚合处理，识别出该聚类结果中的可变字段并将其替换为同一值；所述可变字段为同一聚类结果的各URL路径中，字段位置相同但字段值是可变的字段；

5)将步骤4)处理后的各组URL路径合并形成该网站的URL路径列表。

进一步的，根据统一编号结果将组内每一URL路径转换成一向量的方法为：设合并组内所有URL路径的字段列表中的字段个数为n，然后确定该字段列表中每一字段在向量中的位置并设置一对应编号；对于每一URL路径，将该URL路径中每一字段设置一位置编号；然后对于组内的每一URL路径，从向量的第一个位置开始，遍历该URL路径，如果该URL路径存在与对应位置的字段，则向量的该位置取值为对应编号，否则该位置设置为0，生成该URL路径的向量。

进一步的，将该URL路径中每一字段设置一位置编号的方法为：将该URL路径中第i个字段的位置编号设置为i。

进一步的，所述步骤2)中，将每一URL路径按照“/”分割，得到字段列表，然后统计得到该URL路径的字段个数。

进一步的，使用层次化的聚类算法对矩阵进行聚类。

本发明采用基于层次化的聚类(Hierarchical Clustering；http://bluewhale.cc/2016-04-19/hierarchical-clustering.html或http://blog.pluskid.org/？p＝407)。从网站海量日志中提取网站URL path列表，提取步骤如下：

1.从网站访问日志每一行中提取出一URL path，然后整体去重。