[发明专利]伪静态URL的筛除方法、系统及网页爬取方法、系统

摘要

本发明公开了一种伪静态URL的筛除方法、系统及网页爬取方法、系统。该筛除方法包括以下步骤：获取待测URL列表；读取URL正则列表并建立一数据库；选取一URL与正则表达式逐一匹配；将数据库中的URL根据路径分类；比对该URL和同路径URL的参数及值以确定是否设标志位；根据URL相似度及网页结构相似度决定是否设标志位；将该URL存储至数据库中。本发明的伪静态URL的筛除方法、系统及网页爬取方法、系统针对网站使用的伪静态技术，实现了对伪静态URL的自动识别，以过滤大量重复、无用的伪静态URL，提取有价值的URL进行安全检测，提高了爬行效率和爬行准确性。

主权项

1.一种伪静态URL的筛除方法，其特征在于，包括以下步骤：S₁、获取记录有多个URL的一待测URL列表；S₂、读取一URL正则列表，该URL正则列表包括若干正则表达式，并建立一数据库；S₃、从该待测URL列表中选取一URL与该若干正则表达式逐一匹配，若和任意一正则表达式匹配成功则执行S₈，若和所有正则表达式匹配失败则执行S₄₁；S₄₁、在该数据库中搜索和该URL具有相同路径的URL作为同路径URL，将该数据库中的其他URL作为不同路径URL；S₄₂、将该URL逐一同所有同路径URL进行参数及参数的值的比对，在同所有同路径URL的比对结果均为参数不相同的情况下，对该URL设置爬虫标志位和检测标志位并执行S₅，在同至少一个同路径URL的比对结果为参数相同且参数的值属于非数字型的情况下执行S₄₃，在同至少一个同路径URL的比对结果为参数相同且参数的值属于数字型的情况下执行S₇；S₄₃、判断同路径URL中和该URL具有相同参数的URL的个数是否大于预设的一第一阈值，若是则执行S₇，若否则对该URL设置爬虫标志位和检测标志位并执行S₅；S₅、计算该URL和各个不同路径URL的URL相似度，并判断URL相似度的最大值是否大于预设的一第二阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S₇，若否则执行S₆；其中，该URL和任意一不同路径URL的URL相似度定义为两者的编辑距离；S₆、采用网页结构相似度算法计算该URL和各个不同路径URL对应的网页正文的相似度，并判断计算得到的网页正文的相似度的最大值是否大于预设的一第三阈值，若是则对该URL取消爬虫标志位和检测标志位的设置并执行S₇，若否则执行S₇；S₇、将该URL存储至该数据库、从该待测URL列表中删除该URL并返回S₃；S₈、通过预设的一散列函数将该URL处理为一散列值，判断该数据库中是否存有该散列值，若是则从该待测URL列表中删除该URL并返回S₃，若否则将该URL及该散列值存储至该数据库、然后从该待测URL列表中删除该URL并返回S₃。