[发明专利]一种网络数据采集、存储及处理方法及系统

权利要求书

1.一种网络数据采集、存储及处理方法，其特征在于：包括以下步骤：

S1：对网络数据进行采集；

S2：对采集到的数据进行存储；

S3：将存储的数据进行处理；

其中，所述步骤S1中具体包括：

S11：对URL进行存储管理分析；

S12：进行自动化任务调度；

S13：生成并行化爬取任务，将抓取的HTML文件进行保存；

S14：解析HTML文档树，提取需要的字段信息；

其中，所述步骤S11具体包括以下步骤：

S111：通过URL数据库存储每个URL的访问量、有效访问量、正确解析入库次数、是否需要User Agent参数、URL类型、URL平台；

S112：通过白名单URL表格和黑名单URL表格将URL进行划分；所述白名单URL表示可正常爬取，所述黑名单URL表示不可正常爬取；

S113：分析爬取黑名单中的URL的错误输出日志，并进行优化处理，优化处理后的URL转化为白名单；

所述步骤S2中具体包括：

S21：对采集到的信息，进行数据清洗；

S22：将清洗完的数据再通过对目标字段进行Hash处理，建立映射后写入原始数据库；

S23：取出原始数据库的Hash集合A和业务数据库的Hash集合B；计算需要新添加的数据集合S1，即为A和B的差集计算需要更新的数据集合S2，即为A和B的交集S2＝{x|x∈A∧x∈B}；

S24：将集合S1映射的数据插入到业务数据库，将集合S2映射的数据更新到业务数据库；

S25：将业务数据库与线上平台数据库进行对比，更新业务数据库中的扩展信息。

2.根据权利要求1所述网络数据采集、存储及处理方法，其特征在于：所述步骤S112中，在对URL进行划分时，通过分析每个URL有效访问量的比例和正确解析入库次数，对并URL进行判断，若不符合设定的爬取条件则将该URL归类到黑名单，否则归类到白名单。

3.根据权利要求1所述网络数据采集、存储及处理方法，其特征在于：所述步骤S12中具体包括：

S121：获取白名单表格，根据数据平台业务的爬取需求，进行任务配置；所述任务配置为：设置主线任务配置的调度器和临时任务配置的调度器，其中所述主线任务调度器用于服务例行化的爬取任务需求，临时任务调度器用于服务临时的爬取任务需求；

S122：对主线任务进行配置时，根据数据平台业务的爬取需求以及服务器负载情况，制定定时爬取策略；对临时任务进行配置时，通过在临时任务调度的配置入口接收需要爬取的URL参数。

4.根据权利要求1所述网络数据采集、存储及处理方法，其特征在于：所述步骤S13中具体通过Scrapy应用框架进行网站数据爬取，且该Scrapy应用框架中嵌入了程序快速校验测试、数据库存储配置，用于根据配置输出的内容对爬取任务进行监控。

5.根据权利要求1所述网络数据采集、存储及处理方法，其特征在于：所述步骤S14中还将HTML内容中的新连接URL传递至URL数据库中。

6.根据权利要求1所述网络数据采集、存储及处理方法，其特征在于：所述步骤S3中包括：

S31：进行数据分析，包括对数据可视化展示和进行统计分析；

S32：进行数据挖掘，包括根据业务主题进行数据挖掘；

S33：进行数据同步处理，以更新本地业务数据库。