[发明专利]互联网数据采集方法、系统及计算机终端有效
申请号: | 201810547488.8 | 申请日: | 2018-05-31 |
公开(公告)号: | CN108804620B | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 赵淦森;林成创;列海权;纪求华;王欣明;赵淑娴;李胜龙;金明宙;赵磊;刘秋敏;朱俊杰;颜志鸿 | 申请(专利权)人: | 广东蔚海数问大数据科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/953;G06F16/9532 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 王术兰 |
地址: | 510000 广东省广州市天河区天河北路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 互联网 数据 采集 方法 系统 计算机 终端 | ||
1.一种互联网数据采集方法,其特征在于,包括:
从种子对象列表中获取种子对象及将所述种子对象加入到待采集列表中;
S1从所述待采集列表中获取待采集对象,根据预设规则构造该待采集对象的访问链接;
S2根据所述访问链接获取所述待采集对象的网页内容,对所述网页内容进行解析以获取包含所述待采集对象的相关对象的有用信息,存储所述有用信息及将所述待采集对象加入已采集列表中;
S3判断所述相关对象是否在所述待采集列表或所述已采集列表中,若均不存在,将所述相关对象加入到所述待采集列表中,重新执行步骤S1及后续步骤直至所述待采集列表内所有对象的有用信息采集完毕;
所述对所述网页内容进行解析以获取包含所述待采集对象的相关对象的有用信息,包括:
根据所述网页内容中标签的属性信息,抽取预设属性标签对应的内容值,及通过预设的提取规则获取所述待采集对象的相关对象;
将所述内容值及所述相关对象形成具有预定结构的有用信息。
2.根据权利要求1所述的互联网数据采集方法,其特征在于,所述预设规则包括:
根据知识源网站的统一资源定位符前缀及所述待采集对象的名称构造所述访问链接。
3.根据权利要求1所述的数据采集方法,其特征在于,所述提取规则包括:
遍历所述网页内容,查找具有超链接属性的标签;
判断所述标签之间的内容是否为空,若所述标签之间内容不为空,抓取所述标签之间内容值。
4.根据权利要求1所述的互联网数据采集方法,其特征在于,还包括:
根据存储的所述有用信息生成知识图谱。
5.一种互联网数据采集系统,其特征在于,包括:
构造模块,用于从待采集列表中获取待采集对象,根据预设规则构造该待采集对象的访问链接;
解析模块,用于根据所述访问链接获取所述待采集对象的网页内容,对所述网页内容进行解析以获取包含所述待采集对象的相关对象的有用信息,存储所述有用信息及将所述待采集对象加入已采集列表中;
加入模块,判断所述相关对象是否在所述待采集列表或所述已采集列表中,若均不存在,所述加入模块用于将所述相关对象加入到所述待采集列表中,并且所述构造模块重新执行构造操作直至所述待采集列表内所有对象的有用信息采集完毕;
其中,所述对所述网页内容进行解析以获取包含所述待采集对象的相关对象的有用信息,包括:
根据所述网页内容中标签的属性信息,抽取预设属性标签对应的内容值,及通过预设的提取规则获取所述待采集对象的相关对象;
将所述内容值及所述相关对象形成具有预定结构的有用信息。
6.根据权利要求5所述的互联网数据采集系统,其特征在于,还包括:
获取模块,用于从种子对象列表中获取种子对象及将所述种子对象加入到所述待采集列表中。
7.一种计算机终端,其特征在于,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机终端执行根据权利要求1至4中任一项所述的互联网数据采集方法。
8.一种计算机可读存储介质,其特征在于,其存储有权利要求7所述的计算机终端中所使用的所述计算机程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东蔚海数问大数据科技有限公司,未经广东蔚海数问大数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810547488.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置