[发明专利]一种大数据存储管理系统

摘要

本发明适用于数据管理技术领域，提供了一种大数据存储管理系统，包括云数据服务器以及至少一个智能终端；所述云数据服务器与所述智能终端无线通信连接；其中，所述云数据服务器，包括数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库；结构合理、运行稳定，提高了数据处理效率和检错率，并降低了对相关数据管理的复杂度，减轻了系统的运算负荷。

主权项

一种大数据存储管理系统，其特征在于，包括：云数据服务器以及至少一个智能终端；所述云数据服务器与所述智能终端无线通信连接；其中，所述云数据服务器，包括：数据采集单元、数据分类编号单元、数据并行处理单元、数据恢复单元、数据存储单元以及云数据库；所述数据采集单元采集所述智能终端上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至数据分类编号单元；所述数据分类编号单元将压缩处理后的数据再次分类压缩处理，并将不同类别的相同类型的压缩数据进行数据位置，数据时间，数据容量的类别进行分类，并生成数据分类编号；所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理；所述数据存储单元将预处理后的每一个压缩数据按着生成的编号依次存入云数据库；所述数据恢复单元针硬盘驱动器的检错机制，将该机制进行优化从而提高系统的检错效率，从而保证系统实现大数据有效地存储。