[发明专利]组图抓取方法与装置有效
| 申请号： | 201410040516.9 | 申请日： | 2014-01-27 |
| 公开（公告）号： | CN103793509B | 公开（公告）日： | 2018-01-19 |
| 发明（设计）人： | 蒙杭州 | 申请（专利权）人： | 北京奇虎科技有限公司;奇智软件（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京润泽恒知识产权代理有限公司11319 | 代理人： | 兰淑铎 |
| 地址： | 100088 北京市西城区新*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种组图抓取方法与装置，其中，组图抓取方法包括获取网站的组图抓取日志信息；对所述网站的组图抓取日志信息进行解析，根据解析结果确定所述网站中的组图页面为有效页面；根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取，其中，所述组图抓取规则包括组图页面中有效数据的起始标志、结束标志、和抓取组图的正则表达式。通过本发明，提高了组图抓取的有效性和准确性，实现了对组图页面中组图的有效抓取。 | ||
| 搜索关键词： | 抓取 方法 装置 | ||
【主权项】：
一种组图抓取方法，包括：获取网站的组图抓取日志信息；对所述网站的组图抓取日志信息进行解析，根据解析结果确定所述网站中的组图页面为有效页面；根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取，其中，所述组图抓取规则包括组图页面中有效数据的起始标志、结束标志、和抓取组图的正则表达式，所述组图抓取规则还包括：获取组图的下一页的内容的规则，该规则用于若当前组图页面存在有下一页时，获取当前组图页面的下一页的内容；其中，所述组图抓取规则还包括抓取流量控制规则；所述根据预置的组图抓取规则，对有效的所述组图页面进行组图抓取的步骤包括：根据所述预置的组图抓取规则，按照所述抓取流量控制规则指示的流量，分批对有效的所述组图页面进行组图抓取，其中，根据确定目标网站的可承受访问总量，再乘以预置的抓取压力系数，作为目标网站的抓取承受流量，或者，根据目标网站内所有网页的网页质量分布的总和，确定抓取目标网站的任务流量；其中，所述组图抓取规则还包括组图存储规则；在所述对有效的所述组图页面进行组图抓取的步骤之后，还包括：按照所述组图存储规则指示的数据结构，将抓取的每个所述组图存储为对应的一个结构化组图数据，将所述结构化组图数据存储在图床集群中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件（北京）有限公司，未经北京奇虎科技有限公司;奇智软件（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410040516.9/，转载请声明来源钻瓜专利网。
- 上一篇：图片处理方法和装置
- 下一篇：一种加载推荐信息、网址检测的方法、装置和系统
