[发明专利]一种网络信息采集方法及装置在审
申请号: | 201711308223.4 | 申请日: | 2017-12-11 |
公开(公告)号: | CN110020081A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 王雅文 | 申请(专利权)人: | 镇江共远软件开发有限公司 |
主分类号: | G06F16/953 | 分类号: | G06F16/953;G06F16/955 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 212000 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种网络信息采集方法及装置,方法包括:确定待采集网络信息的目标网站;获取对应所述目标网站的统一资源定位符URL;针对每一个URL,抓取对应的网络信息,并获取每一个URL与其子URL的属性关系;根据抓取到的网络信息和获取的所述属性关系,确定是否存在漏采信息;在确定存在漏采信息时,对漏采信息进行重新采集。根据本方案,通过在抓取网络信息的过程中,获取每一个URL与其子URL的属性关系,可以根据抓取到的网络信息和属性关系来确定是否存在漏采信息,如果存在,可以对漏采信息进行重新采集,从而可以采集到完整的网络信息。 | ||
搜索关键词: | 网络信息 抓取 属性关系 采集 网络信息采集 目标网站 子URL 统一资源定位符 | ||
【主权项】:
1.一种网络信息采集方法,其特征在于,包括:确定待采集网络信息的目标网站;获取对应所述目标网站的统一资源定位符URL;针对每一个URL,抓取对应的网络信息,并获取每一个URL与其子URL的属性关系;根据抓取到的网络信息和获取的所述属性关系,确定是否存在漏采信息;在确定存在漏采信息时,对漏采信息进行重新采集。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于镇江共远软件开发有限公司,未经镇江共远软件开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711308223.4/,转载请声明来源钻瓜专利网。