[发明专利]一种网络数据的采集方法和系统

权利要求书

1.一种网络数据采集的方法，用于采集发布于一网站上的与M个主题分别相关的网络文档的数据，其中M为大于等于1的整数，其特征在于，所述方法包括：

根据待采集链接地址所对应的类型，将所述待采集链接地址配置到对应类型的队列中，所述待采集链接地址为与所述M个主题分别相关的网络文档的数据所在页面的链接地址；

获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码；

根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述网站发布与所述M个主题分别相关的网络文档的更新频率，设置刷新时间间隔；以及

基于所述刷新时间间隔刷新所述待采集链接地址。

3.如权利要求1所述的方法，其特征在于，所述M个主题中每个主题为一部网络文学，所述方法还包括：根据所述网络文学的结构配置所述URL的采集深度值，具体为：

4.如权利要求1所述的方法，其特征在于，所述待采集链接地址对应的类型包括主题名称页、列表页和内容页，配置所述主题名称页用于提取主题名称；配置所述列表页用于提取主题章节目录或主题章节；配置所述内容页用于提取主题正文内容。

5.如权利要求4所述的方法，其特征在于，所述将所述待采集链接地址配置到对应类型的队列中，具体包括：

将类型为所述主题名称页的链接地址分配到主题名称页队列中；

将类型为所述列表页的链接地址分配到列表页队列中；

将类型为所述内容页的链接地址分配到内容页队列中。

6.如权利要求5所述的方法，其特征在于，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：

在所述主题名称页队列中获取所述主题名称页的链接地址对应的网页源代码。

7.如权利要求6所述的方法，其特征在于，所述根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据，具体为：

若采集深度值为第一阈值，则抽取主题的名称及所述名称对应的URL，并将所述名称对应的URL的采集深度值标记为第二阈值后加入到所述列表页队列中；

若采集深度值为第二阈值，则抽取主题的名称及所述名称对应的URL，并将所述名称对应的URL的采集深度值标记为第三阈值后加入到所述列表页队列中。

8.如权利要求5所述的方法，其特征在于，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：

在所述列表页队列中获取所述列表页的链接地址对应的网页源代码。

9.如权利要求8所述的方法，其特征在于，所述根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据具体为：

若采集深度值为第二阈值，则抽取主题的章节目录及所述章节目录对应的URL，并将所述章节目录对应的URL的采集深度值标记为第三阈值后加入到所述列表页队列中；

若采集深度值为第三阈值，则判断所述网页源代码对应的URL是否存在上级URL：

若是，则抽取主题的章节标题及所述章节标题对应章节的URL，并将所述章节的URL加入到所述内容页队列中；

若否，则抽取主题的名称、主题的章节标题及所述章节标题对应章节的URL，并将所述章节的URL加入到所述内容页队列中。

10.如权利要求5所述的方法，其特征在于，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：

在所述内容页队列中获取所述内容页的链接地址对应的网页源代码。

11.如权利要求10所述的方法，其特征在于，所述根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据具体为：

从所述网页源代码中抽取主题的章节标题、章节正文内容，并从所述网页源代码对应的URL中抽取所述章节标题对应章节的章节ID。