[发明专利]一种基于大数据的信息收集分析系统

摘要

本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统，包括：数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果。本发明可以实现目标数据的实时高效采集、分析，将其转换成具有商业价值的可用数据，从而尽可能的发挥其价值。