[发明专利]一种网络数据的采集方法和系统

说明书

技术领域

本发明属于信息检索和数据集成技术领域，尤其涉及一种网络数据的采集方法和系统。

背景技术

随着互联网的出现及普及，互联网络为上亿网民提供了各类文学资料信息，与此同时，一种以这种新兴媒体为载体、以网民为接受对象，具有不同于传统文学特点的网络文学正悄然勃兴。

网络文学，指新近产生的，以互联网为展示平台和传播媒介的，借助超文本连接和多媒体演绎等手段来表现的文学作品、类文学文本及含有一部分文学成分的网络艺术品。其中，以网络原创作品为主。网络文学可以分为三类：一类是将已发表的文学作品经过电子扫描技术或人工录入等方式形成数字资源；一类是直接在互联网络上“发表”的文学作品；还有一类是通过计算机创作或通过有关计算机软件生成的文学作品进入互联网络，以及具有互联网络开放性特点、几位作家几十位作家甚至数百位网民共同创作的″接力小说″等。其中第二类的形式居多。

伴随网络文学的发展，由此产生的版权问题、文学创作内容问题等各种问题也扑面而来。如何便捷集中的浏览网络文学的最新内容，如何实现对网络文学的检索或监管。由于没有网络文学相关数据的支撑，这些问题目前还得不到有效的解决。

发明内容

本发明提供一种网络数据采集方法和系统，能够实时采集最新的网络数据。

本发明方法一方面提供了一种网络数据采集的方法，用于采集发布于一网站上的与M个主题分别相关的网络文档的数据，其中M为大于等于1的整数，所述方法包括：根据待采集链接地址所对应的类型，将所述待采集链接地址配置到对应类型的队列中，所述待采集链接地址为与所述M个主题分别相关的网络文档的数据所在页面的链接地址；获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码；根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据。

优选地，根据所述网站发布与所述M个主题分别相关的网络文档的更新频率设置刷新时间间隔；以及基于所述刷新时间间隔刷新所述待采集链接地址。

优选地，所述M个主题中每个主题为一部网络文学，所述方法还包括：根据所述网络文学的结构配置所述URL的采集深度值，具体为：

优选地，所述待采集链接地址对应的类型包括主题名称页、列表页和内容页，配置所述主题名称页用于提取主题名称；配置所述列表页用于提取主题章节目录或主题章节；配置所述内容页用于提取主题正文内容。

优选地，所述将所述待采集链接地址配置到对应类型的队列中，具体包括：将类型为所述主题名称页的链接地址加入到主题名称页队列中；将类型为所述列表页的链接地址加入到列表页队列中；将类型为所述内容页的链接地址加入到内容页队列中。

优选地，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：在所述主题名称页队列中获取所述主题名称页的链接地址对应的网页源代码。

优选地，所述根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据，具体为：若采集深度值为第一阈值，则抽取主题的名称及所述名称对应的URL，并将所述名称对应的URL的采集深度值标记为第二阈值后加入到所述列表页队列中；若采集深度值为第二阈值，则抽取主题的名称及所述名称对应的URL，并将所述名称对应的URL的采集深度值标记为第三阈值后加入到所述列表页队列中。

优选地，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：在所述列表页队列中获取所述列表页的链接地址对应的网页源代码。

优选地，所述根据所述网页源代码对应的URL信息及所述URL的采集深度值抽取所述URL对应的网络文档的数据具体为：若采集深度值为第二阈值，则抽取主题的章节目录及所述章节目录对应的URL，并将所述章节目录对应的URL的采集深度值标记为第三阈值后加入到所述列表页队列中；若采集深度值为第三阈值，则判断所述网页源代码对应的URL是否存在上级URL：若是，则抽取主题的章节标题及所述章节标题对应章节的URL，并将所述章节的URL加入到所述内容页队列中；若否，则抽取主题的名称、主题的章节标题及所述章节标题对应章节的URL，并将所述章节的URL加入到所述内容页队列中。

优选地，所述获取所述对应类型的队列中的所述待采集链接地址对应的网页源代码具体为：在所述内容页队列中获取所述内容页的链接地址对应的网页源代码。