[发明专利]一种智能网页数据采集方法

权利要求书

1.一种智能网页数据采集方法，其特征在于，包括以下步骤：

S1.初始化爬虫数据库；

S2.遍历网页数据库中网页记录，如没有被爬取且符合爬取条件，则添加至爬取队列；

S3.爬取所述爬取队列中的网页记录提取网页模板并存储至爬虫数据库；所述步骤S3具体实施过程为：爬取所述爬取队列中网页记录的子域名内容，识别以该子域名开头的链接，保存到所述爬虫数据库中；

遍历所述爬虫数据库，判断网页记录是否已经被爬取，是则判断下一条网页记录，否则抓取该网页记录的HTML内容，并保存到所述爬虫数据库；

S4.读取一条网页记录，直至读取成功；

S5.根据设置过滤网页记录，如被过滤，执行S8，否则执行S6；

S6.将网页记录与所述爬虫数据库中的网页模板匹配，若匹配成功，则执行S7，否则，从网页记录中提取内容特征码并更新网页模板，执行S8；所述步骤S6的匹配具体过程为：遍历网页记录子域名的内容模板，如果有模板与该网页记录匹配，则使用该模板的CSS选择器抽取出该网页记录的正文内容并存储；如果没有找到匹配的模板则遍历该网页记录的HTML内容中的段落节点的父节点，对每个父节点进行文字计数，返回文字数最大的节点的CSS选择器，识别出该网页记录的正则模板，该网页记录正则模板的CSS选择器计数值加1，若所述计数值大于设定阈值，则认定二者匹配，存储该网页模板和CSS选择器；

S7.发送并判断当前网页内容是否发送成功，若发送成功，则将该网页记录标记为已发送并清空网页模板内容，否则，执行S8；

S8.完成发送。

2.根据权利要求1所述的一种智能网页数据采集方法，其特征在于：所述网页记录为

URL记录。

3.根据权利要求1所述的一种智能网页数据采集方法，其特征在于，所述步骤S5的过滤具体实施过程为：判断该网页记录是否被爬取，若没有被爬取则过滤掉，若已被爬取则判断该网页记录内容是否被提取，如已经被提取则过滤掉，否则使用正则表达式获得该网页记录所属的子域名。