[发明专利]用于下载网站数据的分布式方法和系统

摘要

本发明提供了用于下载网站数据的分布式方法和系统。该系统包括：控制器，读取起始地址列表中的一个或多个地址，并将所述一个或多个地址存入在数据库中维护的多个下载队列中的至少一个下载队列；数据库，用于维护多个下载队列，其中，所述多个下载队列至少包括第一下载队列和第二下载队列，且各个下载队列对应于不同类型的数据；多个下载模块，用于根据所述多个下载队列来分别下载多个类型的数据，从根据所述第一下载队列下载的数据中解析出要下载的后续地址，判断所述后续地址属于哪个下载队列，根据所述判断的结果，将所述后续地址存入相应下载队列中；以及重复上述过程，直到满足预定条件为止。

主权项

一种用于下载网站数据的分布式方法，包括以下步骤：a)读取起始地址列表中的一个或多个地址，并将所述一个或多个地址存入在数据库中维护的多个下载队列中的至少一个下载队列，其中，所述多个下载队列至少包括第一下载队列和第二下载队列，且各个下载队列对应于不同类型的数据；b)根据所述多个下载队列来分别下载多个类型的数据；c)从根据所述第一下载队列下载的数据中解析出要下载的后续地址；d)判断所述后续地址属于哪个下载队列；e)根据步骤d)中的判断结果，将所述后续地址存入相应下载队列中；以及f)重复上述步骤b)至e)，直到满足预定条件为止。