[发明专利]批量获取网页内容的方法

权利要求书

1.批量获取网页内容的方法，其特征在于，包括以下步骤：

a.任务添加系统创建关系数据库；

b.用户向该关系数据库输入需要访问的各网站各栏目的种子URL及其解析规则；

c.在关系数据库中为需要访问的每个网页建立与其相对应的表；

d.采用多线程的方式，各线程从关系数据库中获取种子URL加入到其各自的待处理任务队列中；

e.网页下载系统根据各线程的待处理任务进行批量网页下载；

f.网页解析系统对所下载网页进行内容分析，根据给定的网页内容解析规则提取该网页的有效信息；

g.将这些有效信息填入对应的表中；

h.用户根据关系数据库提供的对应网页的表读取该网页内容。

2.根据权利要求1所述批量获取网页内容的方法，其特征在于，步骤b所述解析规则包括是否解析链接。

3.根据权利要求2所述批量获取网页内容的方法，其特征在于，步骤f包括以下步骤：

f1.网页解析系统对所下载网页进行内容分析，根据给定的网页内容解析规则提取该网页的有效信息，判断解析规则中是否需要解析链接，若需要解析链接且该网页具有链接则进入下一步，若不需要解析链接或该网页没有链接则进入g步骤；

f2.提取各链接的URL，并将其加入到关系数据库中，并与该网页中的各链接名称相关联；

f3.在关系数据库中为各链接网页建立与其相对应的表；

f4.采用多线程的方式，各线程从关系数据库中获取URL加入到其各自的待处理任务队列中；

f5.网页下载系统根据各线程的待处理任务进行批量网页下载；

f6.网页解析系统对所下载链接网页进行内容分析，提取该网页的有效信息，进入g步骤。