[发明专利]一种基于异步aiohttp多平台分布式数据爬取方法

权利要求书

1.一种基于异步aiohttp多平台分布式数据爬取方法，其特征在于：该方法的步骤如下：

步骤一、服务中心分发url任务到客户端；

步骤二、客户端从配置中心读取配置；

步骤三、多个客户端对多个url任务进行下载内容；

步骤四、对下载的内容进行解析并清洗存入数据库；

步骤五、利用日志中心收集日志；

步骤六、打开监控中心查看资源情况、查看结果。

2.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤一中的url任务分发具体操作：创建消息主题，并对多平台划分多个主题，施行任务多平台分发，对单个平台url任务进行去重，对不同的主题进行发送url任务。

3.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤二中的读取配置功能包括：客户端代理、失败重试、自定义请求信息、同步、异步运行模式选择、超时控制、请求时间、任务白名单、客户端中间件、数据库类型选择、性能设置、请求类型。

4.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤三中的下载内容具体操作为：利用aiohttp库对url任务发送请求，接收返回的数据。

5.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤四中的数据清洗具体操作：对返回的数据进行解析，对不用类型的内容用用不用的库去解析，对json格式数据用json库解析，对html格式用xpath库解析，对其他文本用re正则库进行提取，图片、视频字节流用二进制进行保存，对清洗完的数据存入数据库。

6.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤五中的日志收集具体操作为：利用logging模块对客户端不同的日志级别，如DEBUG、INFO、WARNING、ERROR、CRITICAL五种级别，使用不同的方式记录日志，如使用文件记录日志信息，采用HTTP GET/POST，SMTP，Socket方式记录，文件格式一般为.log文件。

7.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：步骤六中的监控包括：客户端资源的可用性，它会记录服务器问题并在停机的时候通知，分析服务器资源趋势、系统活动，数据爬取入库的数据量情况，客户端日志记录情况，提供WEB界面对客户端设置，查看结果。

8.根据权利要求2所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：任务多平台分发原理是利用kafka发布-订阅消息传递模式，发布者发送到topic的消息，只有订阅了topic的订阅者才会收到消息，这样可以把多平台进行区分，任务去重原理利用redis的set集合特性自带去重功能。

9.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：aiohttp原理是利用async异步特性进行发送请求，网络io不会造成阻塞，实现高并发，高可用。

10.根据权利要求1所描述的基于异步aiohttp多平台分布式数据爬取方法，其特征在于：配置中心的原理就是启动一个服务作为服务方，之后各个需要获取配置的服务作为客户端来这个服务方获取配置，做到上万台客户端配置统一配置，平台统一，客户端高可用，维护成本低，aiohttp、xpath、json、logging、kafka、redis都属于开源库。