[发明专利]一种基于对象存储的爬虫网络路径追踪方法

权利要求书

1.一种基于对象存储的爬虫网络路径追踪方法，其特征在于，包括以下步骤：

(1)部署对象存储系统以及日志处理器，假设一个爬虫S的爬取结果文件为R；

(2)载入阶段：日志处理器为该爬取结果文件R生成路径P，将爬取结果文件R上传到对象存储系统中上述路径位置；

日志处理器生成一条包含爬取结果的来源URL、路径P的聚合路径记录，将该记录添加到每个爬虫各自对应的结果路径日志的末尾；

(3)调取阶段：外部系统遍历日志文件或根据来源URL检索结果路径日志，检索到相应文件时，标记当前文件在结果路径日志的行数，然后通过该记录中的路径P下载该爬取结果文件到本地；如需继续检索则从上面标记的行数开始继续检索后面的记录。

2.根据权利要求1所述的基于对象存储的爬虫网络路径追踪方法，其特征在于，所述步骤(2)中，日志处理器根据该爬虫S的编号以及爬取结果文件R的内容生成唯一哈希路径P。

3.根据权利要求1所述的基于对象存储的爬虫网络路径追踪方法，其特征在于，所述结果路径日志的结构包括三列，第一列数据为日志时间，即结果文件写入文件系统的时间，第二列数据是爬取结果的来源URL，第三列数据是路径P。

4.根据权利要求1所述的基于对象存储的爬虫网络路径追踪方法，其特征在于，所述对象存储系统是一个基于HBASE分布式文件系统的文件存储系统。

5.根据权利要求4所述的基于对象存储的爬虫网络路径追踪方法，其特征在于，所述对象存储系统通过调用HTTP接口传递相应参数，实现对对象存储系统上文件的删除、创建、重写。

6.根据权利要求2所述的基于对象存储的爬虫网络路径追踪方法，其特征在于，所述步骤(3)中，外部系统通过该记录中的路径P下载该爬取结果文件到本地的步骤是：根据路径P生成P在对象存储系统中的绝对路径P2，P2是一个URL，对P2进行HTTP的GET请求即可将文件下载到本地。