[发明专利]一种基于异步aiohttp多平台分布式数据爬取方法

说明书

本发明涉及数据爬取技术领域，具体为一种基于异步aiohttp多平台分布式数据爬取方法，该方法的步骤如下：步骤一、服务中心分发url任务到客户端；步骤二、客户端从配置中心读取配置；步骤三、多个客户端对多个url任务进行下载内容；步骤四、对下载的内容进行解析并清洗存入数据库；步骤五、利用日志中心收集日志；步骤六、打开监控中心查看资源情况、查看结果。本发明通过任务多平台分发利用kafka发布‑订阅消息传递模式，只有订阅了topic的订阅者才会收到消息，这样可以把多平台进行区分，任务去重原理利用redis的set集合特性自带去重功能；本发明利用async异步特性进行发送请求，网络io不会造成阻塞，实现高并发，高可用，通过上述方式可有效提高数据爬取速度。

技术领域

本发明涉及数据爬取技术领域，具体为一种基于异步aiohttp多平台分布式数据爬取方法。

背景技术

金融、通讯、餐饮、电商、房地产等行业存在已有时日，行业应用所产生的数据呈爆炸性增长，人们越来越意识到数据对企业的重要性。如果我们有多个平台数据待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低，不能及时提供数据源，会产生速度问题、质量问题，如果实行多台机器进行爬取，后面会出现维护困难、管理效率低。满足不了业务需求。鉴于此，我们提出一种基于异步aiohttp多平台分布式数据爬取方法。

发明内容

本发明的目的在于提供一种基于异步aiohttp多平台分布式数据爬取方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于异步aiohttp多平台分布式数据爬取方法，该方法的步骤如下：

步骤一、服务中心分发url任务到客户端；

步骤二、客户端从配置中心读取配置；

步骤三、多个客户端对多个url任务进行下载内容；

步骤四、对下载的内容进行解析并清洗存入数据库；

步骤五、利用日志中心收集日志；

步骤六、打开监控中心查看资源情况、查看结果。

作为本发明优选的技术方案，步骤一中的url任务分发具体操作：创建消息主题，并对多平台划分多个主题，施行任务多平台分发，对单个平台url任务进行去重，对不同的主题进行发送url任务。

作为本发明优选的技术方案，步骤二中的读取配置功能包括：客户端代理、失败重试、自定义请求信息、同步、异步运行模式选择、超时控制、请求时间、任务白名单、客户端中间件、数据库类型选择、性能设置、请求类型。

作为本发明优选的技术方案，步骤三中的下载内容具体操作为：利用aiohttp库对url任务发送请求，接收返回的数据。

作为本发明优选的技术方案，步骤四中的数据清洗具体操作：对返回的数据进行解析，对不用类型的内容用用不用的库去解析，对json格式数据用json库解析，对html格式用xpath库解析，对其他文本用re正则库进行提取，图片、视频字节流用二进制进行保存，对清洗完的数据存入数据库。

作为本发明优选的技术方案，步骤五中的日志收集具体操作为：利用logging模块对客户端不同的日志级别，如DEBUG、INFO、WARNING、ERROR、CRITICAL五种级别，使用不同的方式记录日志，如使用文件记录日志信息，采用HTTP GET/POST，SMTP，Socket方式记录，文件格式一般为.log文件。

作为本发明优选的技术方案，步骤六中的监控包括：客户端资源的可用性，它会记录服务器问题并在停机的时候通知，分析服务器资源趋势、系统活动，数据爬取入库的数据量情况，客户端日志记录情况，提供WEB界面对客户端设置，查看结果。