[发明专利]具备页面渲染功能的网络爬虫系统及其实现方法

摘要

本发明公开了一种具备页面渲染功能的网络爬虫系统，同时也涉及该网络爬虫系统实现页面渲染功能的方法。该网络爬虫系统包括多个信息采集器、页面分析器、URL过滤器、页面过滤器、URL管理器、图片生成器、URL库和页面库，不仅能完成一般网络爬虫的功能，还可以将网页直接进行页面渲染，并将渲染结果直接用图片格式加以保存，从而为低成本、高效率地实现页面预览功能奠定技术基础。利用本发明，当我们根据网页的地址进行检索后，不仅可以了解该页面的基本内容，能够看到其基本的显示效果，从而更多地了解整个页面的内容。

主权项

一种具备页面渲染功能的网络爬虫系统，其特征在于：所述网络爬虫系统包括多个信息采集器、页面分析器、URL过滤器、页面过滤器、URL管理器、图片生成器、URL库和页面库；其中，所述信息采集器位于所述网络爬虫系统的底层，与互联网直接进行交互以获取Web页面，所述页面分析器与所述信息采集器进行连接，一方面从页面内容中解析出带有链接标记的URL，交给所述URL过滤器解析；另一方面将页面内容解析为文本格式，交给所述页面过滤器处理；所述URL过滤器对URL进行限定站点范围和主题的过滤之后，存入URL库中；所述页面过滤器进行页面内容的冗余检测后，将检测后的页面存入页面库中；所述图片生成器连接所述URL库，针对所述URL库中存储的URL生成页面对应的图片。