[发明专利]业务数据抓取方法和系统

说明书

技术领域

本申请涉及数据采集领域，具体地说，是涉及一种业务数据抓取方法和系统。

背景技术

如今，随着互联网技术的迅速发展，其中蕴含的庞大的数据量和信息量将人们获取信息的方式改变：从传统翻书查阅的方式改变为通过互联网所搜引擎检索。现在人们已经习惯于通过网络获取自己需要的信息。

目前，各类互联网产品应运而生，为人们在互联网上提供各类便捷、实用的功能服务，上述物联网产品也通过互联网获取业务数据，其产品中数据的准确性和丰富程度等特性往往决定产品的生命周期。然而，通过搜索引擎所获得的信息，通常是通过网页的形式所展现的，这样的信息只适合于人工检索阅读，但互联网产品却很难进行加工和再利用，同时，检索到的信息量庞大，很难在大量的检索结果中抽取出有用的信息。

从而，对于互联网产品，不能采用搜索引擎检索，而是针对互联网中的各种业务数据进行数据采集。但数据采集往往都要花费大量的资源，同时在数据采集时不能通过配置相关的信息获取业务数据，只能修改内部逻辑关系，从而数据采集过程要花费大量时间。然而，数据采集时数据更新的进度快慢和其他因素好坏往往决定了用户对产品的忠诚度，占用资源大、数据更新慢的互联网产品必然将被用户淘汰。

因此，如何解决数据采集时花费大量的资源而且不能通过配置相关的信息获取业务数据，便成为亟待解决的技术问题。

发明内容

本申请所要解决的技术问题是提供一种业务数据抓取方法和系统，以解决数据采集时花费大量的资源而且不能通过配置相关的信息获取业务数据的问题。

为解决上述技术问题，本申请提供了一种业务数据抓取方法，包括：

配置抓取操作时所需要的规则数据；

读取所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；

根据采集到的所述资源数据的完整性进行存储或重新抓取，并在所述抓取操作无法正常结束时发送报告信息。

进一步地，所述网页资源抓取任务，进一步为按照配置的所述规则数据创建的对应数量的多线程网页资源抓取任务。

进一步地，所述资源下载任务，进一步为按照配置的所述规则数据创建的对应数量的多线程资源下载任务。

进一步地，所述根据采集到的资源数据的完整性进行存储或重新抓取，进一步为：判断所述资源数据的完整性，若所述资源数据完整，则将该资源数据进行存储；若所述资源数据不完整，则遍历所述抓取操作中各任务执行时的状态，查找出导致所述资源数据不完整的任务状态，通过重启所述抓取操作从相对应的所述任务状态处进行重新抓取。

进一步地，所述规则数据，进一步为由资源URI、相关编码、抓取任务触发数据和/或规则模板数据构成的规则数据。

一种业务数据抓取系统，该系统包括：配置模块、抓取处理模块、完整性校验模块以及预警模块；其中，

所述配置模块，用于对抓取操作时所需要的规则数据进行配置，并将配置后的所述规则数据以配置文件的方式进行存储；

所述抓取处理模块，用于读取所述配置模块中存储的所述配置文件，获得所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；将采集到的资源数据发送至所述完整性校验模块，以及用于接收所述完整性校验模块发送的所述校验结果数据，根据该校验结果数据进行存储或重新抓取；

所述完整性校验模块，用于接收所述抓取处理模块发送的所述资源数据，对该资源数据进行完整性校验，生成校验结果数据发送至所述抓取处理模块；

所述预警模块，用于实时监测所述抓取处理模块的所述抓取操作状态，在所述抓取操作无法正常结束时从所述抓取处理模块中读取错误原因生成报告信息进行发送。

进一步地，所述网页资源抓取任务，进一步为按照配置的所述规则数据创建的对应数量的多线程网页资源抓取任务。

进一步地，所述下载任务，进一步为按照配置的所述规则数据创建的对应数量的多线程资源下载任务。