[发明专利]一种基于网络安全的大数据处理系统

说明书

一种基于网络安全的大数据处理系统，包括数据采集模块、数据归纳模块、互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述数据采集模块与所述数据归纳模块相连，所述数据归纳模块与所述互联网相连；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连。本发明通过网络安全对大数据处理进行安全防护，在提高数据处理准确度的同时网络纽带提高大数据处理效率。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于网络安全的大数据处理系统。

背景技术

大数据处理系统的种类繁多，目前还没有公认的分类方法。为了清晰掌握技术的发展现状，这里从负载类型和数据类型两个角度对代表性的系统进行分类，一方面明确了各种系统的适用范围；另一方面可看到尚未解决的空白领域。

从负载类型的角度，目前的系统可以划分为批处理、流式计算和交互式查询等三类。批处理系统强调系统的高吞吐量，例如Hadoop系统就定位于批处理。流式计算是近几年兴起的一个研究领域，很多应用场景对计算的时效性要求高，希望能够在尽可能小的延迟内完成，例如在线广告推荐、入侵检测和作弊识别等。目前代表性的流式计算系统包括雅虎的s4、Twitter的Storm、Google的MillWheel、微软的TimeStream和美国加州大学伯克利分校的DStream等。交互式查询分析主要应用于大规模的数据仓库，从早期的Hive到Dremel、Impala和Shark等，各种SQL-On-Ha-doop与大规模并行处理(massiveparallelprocessing，MPP)系统不断出现。

从数据类型的角度，目前的系统提供了集合、表、图和矩阵等多种数据抽象。通常一个编程框架只适合解决某类问题，无法对各种问题领域都适用。例如，MapReduce适合解决记录之间相互独立的集合类数据；Piccolo利用分布式内存存储表格数据，能够加快迭代计算的运行效率；MadLINQ提供大规模的矩阵运算，可简化一大类机器学习和数据挖掘算法的开发。

随着大数据处理的兴起，在大数据处理过程中也面临很多问题，例如如何提高大数据处理系统处理效率，大数据处理系统的数据信息安全不够完善，数据信息泄露导致发生重大损失都影响大数据处理系统的稳定性。

为解决上述问题，本申请中提出一种基于网络安全的大数据处理系统。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于网络安全的大数据处理系统，通过网络安全对大数据处理进行安全防护，在提高数据处理准确度的同时网络纽带提高大数据处理效率。

(二)技术方案

为解决上述问题，本发明提供了一种基于网络安全的大数据处理系统，包括互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；

所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连；

所述数据存储模块对数据进行存储，防止发生数据丢失情况，便于数据查找访问；所述数据处理模块对数据进行处理；所述互联网模块用于连接各数据模块的枢纽，所述互联网模块上设置有防火墙对数据安全进行保障；所述数据统计分析对数据处理模块处理的数据结果进行统计和分析；所述数据结果展示对数据统计分析的内容进行展示，方便了解大数据的处理结果；所述数据监控模块对数据存储进行监控，防止数据存储模块存储数据发送丢失或异常。

优选的，所述互联网上连接有数据归纳模块，所述数据归纳模块上连接诶有数据采集模块。