[发明专利]业务数据抓取方法和系统

权利要求书

1.一种业务数据抓取方法，其特征在于，包括：

配置抓取操作时所需要的规则数据；

读取所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；

根据采集到的所述资源数据的完整性进行存储或重新抓取，并在所述抓取操作无法正常结束时发送报告信息。

2.如权利要求1所述的业务数据抓取方法，其特征在于，所述网页资源抓取任务，进一步为按照配置的所述规则数据创建的对应数量的多线程网页资源抓取任务。

3.如权利要求1所述的业务数据抓取方法，其特征在于，所述资源下载任务，进一步为按照配置的所述规则数据创建的对应数量的多线程资源下载任务。

4.如权利要求1所述的业务数据抓取方法，其特征在于，所述根据采集到的资源数据的完整性进行存储或重新抓取，进一步为：判断所述资源数据的完整性，若所述资源数据完整，则将该资源数据进行存储；若所述资源数据不完整，则遍历所述抓取操作中各任务执行时的状态，查找出导致所述资源数据不完整的任务状态，通过重启所述抓取操作从相对应的所述任务状态处进行重新抓取。

5.如权利要求1所述的业务数据抓取方法，其特征在于，所述规则数据，进一步为由资源URI、相关编码、抓取任务触发数据和/或规则模板数据构成的规则数据。

6.一种业务数据抓取系统，其特征在于，该系统包括：配置模块、抓取处理模块、完整性校验模块以及预警模块；其中，

所述配置模块，用于对抓取操作时所需要的规则数据进行配置，并将配置后的所述规则数据以配置文件的方式进行存储；

所述抓取处理模块，用于读取所述配置模块中存储的所述配置文件，获得所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；将采集到的资源数据发送至所述完整性校验模块，以及用于接收所述完整性校验模块发送的所述校验结果数据，根据该校验结果数据进行存储或重新抓取；

所述完整性校验模块，用于接收所述抓取处理模块发送的所述资源数据，对该资源数据进行完整性校验，生成校验结果数据发送至所述抓取处理模块；

所述预警模块，用于实时监测所述抓取处理模块的所述抓取操作状态，在所述抓取操作无法正常结束时从所述抓取处理模块中读取错误原因生成报告信息进行发送。

7.如权利要求6所述的业务数据抓取系统，其特征在于，所述网页资源抓取任务，进一步为按照配置的所述规则数据创建的对应数量的多线程网页资源抓取任务。

8.如权利要求6所述的业务数据抓取系统，其特征在于，所述下载任务，进一步为按照配置的所述规则数据创建的对应数量的多线程资源下载任务。

9.如权利要求6所述的业务数据抓取系统，其特征在于，所述抓取处理模块，进一步读取所述校验结果数据，若该校验结果数据反映所述资源数据完整，则将该资源数据进行存储；若该校验结果数据反映所述资源数据不完整，则遍历所述抓取操作中各任务执行时的状态，查找出导致所述资源数据不完整的任务状态，通过重启所述抓取操作从相对应的所述任务状态处进行重新抓取。

10.如权利要求6所述的业务数据抓取系统，其特征在于，所述规则数据，进一步为由资源URI、相关编码、抓取任务触发数据和/或规则模板数据构成的规则数据。