[发明专利]一种按优先次序分块采集互联网数据的方法和系统

说明书

本发明公开了一种按优先次序分块采集互联网数据的方法和系统，属于大数据应用与分析领域，该方法根据网站特性及采集主题对采集方式进行特性化调整，对分析采集主题进行归纳总结，再依据采集主题，对欲采集数据与采集主题的相关性和/或有效数据的优先性进行先行判断，以合理的维度对数据进行划分，以一定次序依次分块进行采集；所述合理的维度包括优先性维度和相关性维度。一种按优先次序分块采集互联网数据的系统，包括数据分析模块、采集层级划分模块、采集结果判定模块和数据检验模块。本发明能够避免采集数据的冗余，高效的获取、分析网站数据，有利于降低研发成本，并为数据的存储和数据分析降低成本。

技术领域

本发明涉及大数据应用与分析领域，具体地说是一种按优先次序分块采集互联网数据的方法和系统。

背景技术

如今的社会是一个包围着人工智能、云计算、大数据等的科技时代，各行各业因为大幅爆发的数据而正变得蒸蒸日上。在近10年中，几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。而其基础—数据挖掘显得尤为重要，自然的对于数据采集技术的研究显得尤为重要。

传统的数据采集一般会一次性抓取整个网站的信息，再通过后期的清洗操作将干扰数据清除，而此种方式不仅会使得数据干扰增大，同时也造成资源的大量浪费，使得采集效率低下。通常来说数据采集要满足以下三个特性：1、全面性数据量，即足够具有分析价值、数据面足够支撑分析需求即可。2、多维性，数据更重要的是能满足分析需求，灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。3、高效性，即采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

由于目前各大网站的内容不断扩展、分类不断增多。如何做到以上三个特性的有机统一是采集人员必须考虑的一个问题。在充分满足全面性数据量的基础上，尽可能的提高采集的效率，降低采集资源的浪费。而一味的追求目前爬虫不断深入解析，很有可能会采到大量冗余数据，从而会给后续的数据分析等工作增加负担。

发明内容

本发明的技术任务是针对以上不足之处，提供一种按优先次序分块采集互联网数据的方法和系统，解决目前互联网数据采集过程中由于采集范围过大造成的数据冗余和效率低下的问题，实现对网站的高效采集。

本发明解决其技术问题所采用的技术方案是：

一种按优先次序分块采集互联网数据的方法，根据网站特性及采集主题对采集方式进行特性化调整，

对分析采集主题进行归纳总结，再依据采集主题，对欲采集数据与采集主题的相关性和/或有效数据的优先性进行先行判断，以合理的维度对数据进行划分，以一定次序依次分块进行采集；

所述合理的维度包括优先性维度和相关性维度。

面对杂乱无章的海量数据，对于分析数据的有效性数据并非百分之百，数据样本也可以在一定的百分比内，得出准确的结果，所以优先分块采集是一种对互联网数据的简式高效的采集方法。可以通过优先性和相关性确定优先采集的数据，然后再采集其余数据，实现对网站的高效采集。

优选的，所述对欲采集数据与采集主题的相关性进行判断，是将网站数据与欲分析采集主题方向进行关联分析，确定与采集主题相关的数据范围。

优选的，所述对有效数据的优先性进行判断，是指除了对网站数据与欲采集主题相关性分析之外，还可以直接对网站数据的一个或多个维度进行优先级划分，例如时间优先性、地区优先性以及高价格优先性等。

优选的，以一定次序依次分块进行采集，是指并非一次性完全爬取网站全部数据，而是依据相关性或优先性等合理的维度，从中择一，按照相应的次序分块、多次并逐步的爬取全部数据。

具体的，该方法的实现过程如下：采集开始后，