[发明专利]适于URL数据抓取中对数据缓存的方法及装置

摘要

本发明公开了一种适于URL数据抓取中对数据缓存的方法，包括：周期性抓取URL数据；将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。采用本发明能够以空间换时间，提高数据的稳定性，避免业务波动，有效的减少了系统的波动范围，可以降低了对系统其他模块的冲击。

主权项

1.一种适于URL数据抓取中对数据缓存的方法，包括：周期性抓取URL数据；将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器；其中，根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器，包括：在第一Bloomfilter存储容器和第二Bloomfilter存储容器中设置任一存储容器为指定容器，当至少一个Bloomfilter存储容器首次达到预设临界值时，清空所述指定容器；随后在所述第一Bloomfilter存储容器和第二Bloomfilter存储容器中任一Bloomfilter存储容器到达预设临界值时，对应清空另外一个Bloomfilter存储容器。