[发明专利]一种大数据存储管理系统

权利要求书

1.一种大数据存储管理系统，其特征在于，包括：云数据服务器以及至少一个智能终端；所述云数据服务器与所述智能终端无线通信连接；其中，所述云数据服务器，包括：数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库；所述数据采集单元采集所述智能终端上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至数据分类编号单元；所述数据分类编号单元将压缩处理后的数据再次分类压缩处理，并将不同类别的相同类型的压缩数据进行数据位置，数据时间，数据容量的类别进行分类，并生成数据分类编号；所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理；所述数据存储单元将预处理后的每一个压缩数据按着生成的编号依次存入云数据库；所述数据恢复单元针硬盘驱动器的检错机制，将该机制进行优化从而提高系统的检错效率，从而保证系统实现大数据有效地存储。

2.如权利要求1所述的大数据存储管理系统，其特征在于，所述云数据服务器，还包括：

数据冗余判断模块，与数据采集单元、云数据库连接，用于对数据采集单元采集的数据进行冗余判断，若云数据库内存储的数据与数据采集单元采集的数据相同则将相同的数据丢弃。

3.如权利要求1所述的大数据存储管理系统，其特征在于，所述云数据服务器，还包括：

数据降噪处理单元，用于对采集到的数据进行降噪预处理；以及

数据挖掘单元，用于对云数据库中的数据进行挖掘分析。

4.如权利要求3所述的大数据存储管理系统，其特征在于，所述数据挖掘单元，包括：

数据并行挖掘模块，用于从不同角度对云数据库内数据进行多路并行挖掘；

挖掘结果融合模块，用于对多路并行的数据并行挖掘模块输出的数据挖掘结果进行汇总；以及

融合信息分析模块，用于对汇总后的数据进行分析处理。

5.如权利要求1所述的大数据存储管理系统，其特征在于，所述数据并行处理单元，包括：

数据离散化处理模块，用于将压缩处理后的数据进行离散化处理，方便存储和进一步分析。