[发明专利]一种大数据统计分析系统

说明书

本发明公开了一种大数据统计分析系统，包括目标数据采集模块、数据处理模块、数据标准化模块、数据识别分类模块、数据统计分析模块、图形绘制模块、数据可视化分析模块、数据定位模块。本发明基于目标数据采集模块进行数据的针对性挖掘，然后基于Hadoop的粗糙集快速属性约简算法进行数据的预处理，提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据，基于Tableau Desktop实现了数据的可视化分析，从而实现了多种目标数据的计算获取，大大方便了工作人员的使用。

技术领域

本发明涉及数据分析领域，具体涉及一种大数据统计分析系统。

背景技术

大数据、云计算、“互联网+”已成为创新发展的新趋势，在大数据条件下，，企业需具备在第一时间洞察数据的变化、感知有问题的数据，并提供有效的安全策略的能力。企业的每个系统就会产生成千上万的数据，虽然现在有很多传统的日志或者其他专业工具能够帮助企业分析这些数据，而传统的安全产品工具却不能给我们带来效率，来自传统IPS/IDS、防火墙/UTM、AV、日志系统的各类信息每天高达数千万条，但传统的产品工具对数据的处理目前仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联要靠人工进行逐条甄别。

鉴于此，迫切需要设计一种可实现数据自动获取识别分析处理的系统。

发明内容

为解决上述问题，本发明提供了一种大数据统计分析系统，基于目标数据采集模块进行数据的针对性挖掘，然后基于Hadoop的粗糙集快速属性约简算法进行数据的预处理，提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据，基于Tableau Desktop实现了数据的可视化分析，从而实现了多种目标数据的计算获取，大大方便了工作人员的使用。

为实现上述目的，本发明采取的技术方案为：

一种大数据统计分析系统，包括：

目标数据采集模块，用于进行目标数据的采集；

数据处理模块，采用基于Hadoop的粗糙集快速属性约简算法对目标数据进行预处理；

数据标准化模块，基于BP神经网络模对完成预处理的目标数据进行标准化处理；

数据识别分类模块，基于BP神经网络模型根据特征数据对完成标准化处理的数据进行识别分类；

数据统计分析模块，基于数据识别分类模块的识别分类结果进行对应数据统计模型、数据分析模型的调用，并输出对应的统计结果、分析结果；

图形绘制模块，用于根据完成标准化处理后的数据生成各种曲线图。

进一步地，所述数据标准化模块采用PCA-BP神经网络模型。

进一步地，还包括一数据可视化分析模块，基于完成标准化处理后的数据通过Tableau Desktop实现数据的可视化分析。

进一步地，还包括一数据定位模块，基于完成识别分类后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。

进一步地， 所述标准化后的数据至少包括数据的属性参数和特征参数。

进一步地，还包括一数据整理模块，用于查找并清除所接收到的数据之间存在的冗余内容。

进一步地，在调用对应数据统计模型和数据分析模型前需先经多特征加权融合模块完成多特征的融合操作。

进一步地，所述多特征加权融合模块采用自适应的融合算法，公式如下：

（1）