[发明专利]业务数据抓取方法和系统

摘要

本申请公开了业务数据抓取方法和系统，该方法为配置抓取操作时所需要的规则数据；读取所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；根据采集到的所述资源数据的完整性进行存储或重新抓取，并在所述抓取操作无法正常结束时发送报告信息。本申请解决了数据采集时花费大量的资源而且不能通过配置相关的信息获取业务数据的问题。

主权项

一种业务数据抓取方法，其特征在于，包括：配置抓取操作时所需要的至少包括资源URI、相关编码、抓取任务触发数据和/或规则模板数据的规则数据，并将配置完成的所述规则数据存储于配置文件中；读取所述规则数据，根据该规则数据建立对应数量的多线程网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI及文字内容，并写入存储文件，同时过滤数据不完整的资源，并对DNS解析记录进行缓存处理；根据规则数据建立对应数量的多线程资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；判断所述资源数据的完整性，若所述资源数据完整，则将该资源数据进行存储；若所述资源数据不完整，则遍历所述抓取操作中各任务执行时的状态，查找出导致所述资源数据不完整的任务状态，通过重启所述抓取操作从相对应的所述任务状态处进行重新抓取，并在抓取操作无法正常结束时发送错误报告信息，以及在抓取操作正常结束时发送状态报告信息。