[发明专利]一种大数据管理系统

说明书

技术领域

本发明属于大数据技术领域，尤其涉及一种大数据管理系统。

背景技术

随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据管理需求。

大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

云计算技术的飞速发展对大数据管理提出更高的要求，尤其是面向生产领域的数据中心，数据量已经超亿点规模，且存贮量占比很大部分是实时和准实时生产过程数据。

发明内容

为了克服上述现有技术所存在的技术问题，本发明实施例提供一种大数据管理系统，不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。

本发明实施例是这样实现的，一种大数据管理系统，包括：数据采集单元、数据并行处理单元、云存储单元、云存储加解密单元、数据访问权限认证单元、数据冗余判断单元以及数据重复删除单元；所述云存储单元，包括本地存储器和云存储器；所述云存储加解密单元分别与所述本地存储器、云存储器和数据访问权限认证单元连接；所述数据冗余判断单元分别与所述数据采集单元、所述本地存储器和所述云存储器连接；所述数据重复删除单元分别与所述本地存储器、所述云存储器和所述数据冗余判断单元连接。

优选的，所述系统还包括：

一个或多个客户端，所述客户端与云存储加解密单元连接，通过访问所述云存储单元来确定是否有权限访问目标数据点并获取目标数据点所属的云存储单元的位置信息或直接访问该位置信息对应的云存储单元；以及缓存已访问的目标数据点所属的云存储单元的位置信息。

优选地，所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。

优选地，所述云存储单元采用离散式分布数据存储端。

优选地，所述离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。

优选地，所述离散式分布数据存储端，包括：MPP关系数据库和Hadoop结构数据库。

优选地，所述系统还包括：

数据整合单元，用于整合离散的源数据，并将整合后的源数据存储至云存储单元。

优选地，所述云存储加解密单元包括云存储安全加密芯片和云存储安全解密芯片，所述安全加密芯片和所述安全解密芯片采用安全套接层SSL和/或安全传输层TLS。

优选地，所述安全加密芯片和所述安全解密芯片包含AES、RSA、SHA、OTP、RNG、GUID中的一种或多种安全处理单元。

优选地，所述数据访问权限认证单元采用RSA方式对数据进行加解密认证。

本发明实施例提供的大数据管理系统，不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。

图1是本发明实施例提供的一种大数据管理系统的结构示意图。

图2是本发明实施例提供的另一种大数据管理系统的结构示意图。

图3是本发明实施例提供的云存储加解密单元的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。