[发明专利]适于URL数据抓取中对数据缓存的方法及装置

说明书

技术领域

本发明涉及互联网领域，具体涉及一种适于URL数据抓取中对数据缓存的方法及装置。

背景技术

在网页抓取系统中，对于大多数网页的抓取都有周期性参数设置，比如至少间隔若干时间，才考虑更新性抓取。过于频繁的抓取易导致抓取资源的浪费，对目标网站也带来不必要的压力。由于一般存储器的空间有限，为了处理这种源源不断的数据流，直接的思路就是设定一个时间窗口，将时间窗口之前的数据清理掉，腾出空间接纳即将到来的新数据。但是，一次性清空时间窗口之前的所有数据，数据本身会产生很大的波动，容易对于业务产生较大的影响。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的适于URL数据抓取中对数据缓存的方法和相应的装置。

依据本发明的一个方面，提供了一种适于URL数据抓取中对数据缓存的方法，包括：

周期性抓取URL数据；

将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；

在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；

根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。

可选地，所述根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器，包括：

在所述第一Bloomfilter存储容器储存的数据存储量首次到达预设临界值时，清空所述第二Bloomfilter存储容器。

可选地，所述根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器，还包括：

在所述第二Bloomfilter存储容器首次被清空后，

当所述第二Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第一Bloomfilter存储容器；以及

当所述第一Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第二Bloomfilter存储容器。

可选地，所述预设临界值为存储容量的1/2。

可选地，所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量根据抓取URL数据的周期变化进行调节。

依据本发明的另一个方面，提供了一种适于URL数据抓取中对数据缓存的装置，包括：

数据抓取器，配置为周期性抓取URL数据；

第一布隆过滤器Bloomfilter存储容器，配置为有序缓存所述数据抓取器每次抓取的URL数据；

第二Bloomfilter存储容器，与所述第一Bloomfilter存储容器容量相同，配置为与所述第一Bloomfilter存储容器同步有序缓存所述数据抓取器每次抓取的URL数据；

监控器，配置为在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；

数据清空器，配置为根据所述监控器监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。

可选地，所述数据清空器还配置为：

在所述监控器监控到所述第一Bloomfilter存储容器储存的数据存储量首次到达预设临界值时，清空所述第二Bloomfilter存储容器。

可选地，所述数据清空器还配置为：

在所述第二Bloomfilter存储容器首次被清空后，

当所述监控器监控到所述第二Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第一Bloomfilter存储容器；以及

当所述监控器监控到所述第一Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第二Bloomfilter存储容器。

可选地，所述预设临界值为存储容量的1/2。

可选地，上述装置还包括：