[发明专利]一种智能网页数据采集方法有效

专利信息
申请号: 201711229595.8 申请日: 2017-11-29
公开(公告)号: CN108153817B 公开(公告)日: 2021-08-10
发明(设计)人: 马萧萧;周熙;温大川;刘科材;冯良怀;杨树海;姚晴麟 申请(专利权)人: 成都东方盛行电子有限责任公司
主分类号: G06F16/9535 分类号: G06F16/9535;G06F16/958
代理公司: 成都金英专利代理事务所(普通合伙) 51218 代理人: 袁英
地址: 610041 四*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 智能 网页 数据 采集 方法
【说明书】:

发明公开了一种智能网页数据采集方法,包括以下步骤:初始化爬虫数据库,遍历网页数据库中网页记录,如没有被爬取且符合爬取条件,则添加至爬取队列,爬取爬取队列中的网页记录并存储至爬虫数据库,读取一条网页记录,直至读取成功,根据设置过滤网页记录,将网页记录与网页模板匹配,若匹配成功,发送当前网页内容并将该网页记录标记为已发送并清空网页模板内容,完成发送,否则,从网页记录中提取内容特征码并更新网页模板;本发明有效的提高了网页数据采集的效率和准确度。

技术领域

本发明涉及数据挖掘技术领域,尤其涉及一种智能网页数据采集方法。

背景技术

随着网络信息技术的发展、网站、论坛、博客等网页信息越来越大,搜索引擎、内容分析、舆情分析等技术都是对这些信息进行某种分析处理的, 他们都用到了网页数据采集这一技术,网络数据采集方法也称作网络爬虫,是一种对网页连接进行自动分析,并自动获取信息存储到本地的数据采集方法,目前面临的问题主要在于如何有效提高网络数据采集的效率和准确度。

发明内容

为了解决上述问题,本发明提出一种智能网页数据采集方法。

具体的,一种智能网页数据采集方法,包括以下步骤:

S1.初始化爬虫数据库;

S2.遍历网页数据库中网页记录,如没有被爬取且符合爬取条件,则添加至爬取队列;

S3.爬取所述爬取队列中的网页记录提取网页模板并存储至爬虫数据库;

S4.读取一条网页记录,直至读取成功;

S5.根据设置过滤网页记录,如被过滤,执行S8,否则执行S6;

S6.将网页记录与所述爬虫数据库中的网页模板匹配,若匹配成功,则执行S7,否则,从网页记录中提取内容特征码并更新网页模板,执行S8;

S7.发送并判断当前网页内容是否发送成功,若发送成功,则将该网页记录标记为已发送并清空网页模板内容,否则,执行S8;

S8.完成发送。

进一步的,所述网页记录为URL记录。

进一步的,所述步骤S3具体实施过程为:爬取所述爬取队列中网页记录的子域名内容,识别以该子域名开头的链接,保存到所述爬虫数据库中;

遍历所述爬虫数据库,判断网页记录是否已经被爬取,是则判断下一条网页记录,否则抓取该网页记录的HTML内容,并保存到所述爬虫数据库。

进一步的,所述步骤S5的过滤具体实施过程为:判断该网页记录是否被爬取,若没有被爬取则过滤掉,若已被爬取则判断该网页记录内容是否被提取,如已经被提取则过滤掉,否则使用正则表达式获得该网页记录所属的子域名。

进一步的,所述步骤S6的匹配具体过程为:遍历网页记录子域名的内容模板,如果有模板与该网页记录匹配,则使用该模板的CSS选择器抽取出该网页记录的正文内容并存储;如果没有找到匹配的模板则遍历该网页记录的HTML内容中的段落节点的父节点,对每个父节点进行文字计数,返回文字数最大的节点的CSS选择器,识别出该网页记录的正则模板,该网页记录正则模板的CSS选择器计数值加1,若所述计数值大于设定阈值,则认定二者匹配,存储该网页模板和CSS选择器。

本发明的有益效果在于:提高了网络数据采集的效率和准确度。

附图说明

图1是本发明的一种智能网页数据采集方法流程示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。

具体的,一种智能网页数据采集方法,包括以下步骤:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都东方盛行电子有限责任公司,未经成都东方盛行电子有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711229595.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top