[发明专利]一种智能网页数据采集方法

摘要

本发明公开了一种智能网页数据采集方法，包括以下步骤：初始化爬虫数据库，遍历网页数据库中网页记录，如没有被爬取且符合爬取条件，则添加至爬取队列，爬取爬取队列中的网页记录并存储至爬虫数据库，读取一条网页记录，直至读取成功，根据设置过滤网页记录，将网页记录与网页模板匹配，若匹配成功，发送当前网页内容并将该网页记录标记为已发送并清空网页模板内容，完成发送，否则，从网页记录中提取内容特征码并更新网页模板；本发明有效的提高了网页数据采集的效率和准确度。

主权项

一种智能网页数据采集方法，其特征在于，包括以下步骤：S1.初始化爬虫数据库；S2.遍历网页数据库中网页记录，如没有被爬取且符合爬取条件，则添加至爬取队列；S3.爬取所述爬取队列中的网页记录提取网页模板并存储至爬虫数据库；S4.读取一条网页记录，直至读取成功；S5.根据设置过滤网页记录，如被过滤，执行S8，否则执行S6；S6.将网页记录与所述爬虫数据库中的网页模板匹配，若匹配成功，则执行S7，否则，从网页记录中提取内容特征码并更新网页模板，执行S8；S7.发送并判断当前网页内容是否发送成功，若发送成功，则将该网页记录标记为已发送并清空网页模板内容，否则，执行S8；S8.完成发送。