[发明专利]一种基于分布式数据处理框架的数据采集分析系统

摘要

本发明公开了一种基于Storm和Hadoop分布式数据处理框架的数据采集分析系统，该系统的核心在于通过Storm和Hadoop这两种开源的分布式集群框架，构建稳定可扩展的底层数据流平台，构建智能反爬模块进行数据爬取中的对抗，多种web数据解析方式智能选择，数据格式化，数据分析和可视化。通过些模块的拼接，实现稳定，易于扩展，易于操作的数据采集分析系统，使得数据需求方拥有稳定快速的实时数据的机会，并可对感兴趣的数据进行多样化分析满足需求方的决策需求，适用于科研和企业决策所需数据的方方面面。

主权项

1.一种基于分布式数据处理框架的数据采集分析系统包括如下系统过程：(A)反爬对抗模块‑此模块使用了ip代理池切换，模拟浏览器头部访问，动态时延调度，PhantomJS渲染和模拟用户登录模块这5部分进行反爬对抗。(B)多种web数据解析模块‑此模块使用XML，HTML,JSON三种数据路径解析方式，对web数据进行提取。(C)数据纠错和格式化模块‑利用java机制构造各种异常捕获单元，对出现的异常数据进行处理；将采集的新闻，数字等信息根据规范进行数据格式化。(D)数据系统监控模块‑使用ELK,Nagios对采集数据以及集群状态进行监控。(E)数据可视化模块‑使用主流web前端技术，将数据统计分析，制作出各种图表在网页中实时展示。