[发明专利]基于动态爬虫技术的数据源发现方法在审
| 申请号： | 201610203264.6 | 申请日： | 2016-04-01 |
| 公开（公告）号： | CN105824965A | 公开（公告）日： | 2016-08-03 |
| 发明（设计）人： | 任龙;王儒敬;王伟;汪六三 | 申请（专利权）人： | 无锡中科富农物联科技有限公司;安徽中科物联科技有限公司;江苏物联网研究发展中心 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 无锡市大为专利商标事务所(普通合伙) 32104 | 代理人： | 殷红梅;韩凤 |
| 地址： | 214135 江苏省无锡市新区菱*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及了一种基于爬虫技术的深层次数据源发现方法，通过爬虫模块进行爬取，通过搜集网页中的符合条件的DOM元素，然后模拟浏览器事件，触发这些DOM元素，观察网页的内容是否发生了改变，若内容发生改变则改变后的网页内容形成一个新的状态，并以此新状态为起点继续爬取，否则继续触发当前状态的下一个可操作DOM元素，若无可操作元素则回溯到以前的状态。爬取策略采用深度优先的爬取策略。网页聚类模块将爬取过程中DOM树结构比较相似的网页聚为一类。若该聚类中结构相似的网页的数量满足设定的阈值，则认为其对应着网络中的某个数据源。本发明在网络资源的发现上有优异的表现，明显高于传统爬虫，并且克服了传统爬虫的不能感知深层次数据源的缺陷。 | ||
| 搜索关键词： | 基于 动态 爬虫 技术 数据源 发现 方法 | ||
【主权项】：
基于动态爬虫技术的深层次数据源发现方法，其特征是，依据动态爬虫技术，通过触发网页中DOM元素上浏览器事件爬取网页中所隐藏的所有内容，再通过对DOM树结构相似网页的聚类，进而发现深层次数据源。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于无锡中科富农物联科技有限公司;安徽中科物联科技有限公司;江苏物联网研究发展中心，未经无锡中科富农物联科技有限公司;安徽中科物联科技有限公司;江苏物联网研究发展中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610203264.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种咨询台
- 下一篇：头孢唑肟钠双室输液袋包装
