[发明专利]一种大数据存储优化方法

摘要

本发明涉及数据处理技术领域，尤其是面向海-云协同的一种大数据存储优化方法。所述的方法包括数据预处理、计算优化和海量数据优化，数据预处理包括数据采集、多源数据组织与汇聚、数据冗余处理、数据压缩存储；计算优化包括HDFS文件传输优化和Map/Reduce并行计算优化；和海量数据优化包括数据灾备、数据加密、CCIndex索引和CCT备份。本发明可以应用于云平台的大数据存储中。

主权项

一种大数据存储优化方法，其特征在于：所述的方法包括数据预处理、计算优化和海量数据优化，数据预处理包括数据采集、多源数据组织与汇聚、数据冗余处理、数据压缩存储；计算优化包括HDFS文件传输优化和Map/Reduce并行计算优化；和海量数据优化包括数据灾备、数据加密、CCIndex索引和CCT备份；客户端提交的数据经数据采集采集后，由多源数据组织与汇聚、数据冗余处理进行规范化处理，并采用RCFile进行压缩存储，数据水平拆分，引入分块、分片机制先分块再分片，块内采用按行存储，分片内按列存储；然后，在计算优化中，采用CCIndex将数据随机遍历转化为按行索引遍历，采用CCT进行记录水平行复制完成数据增量备份；海量数据优化时，并行计算组件完成HDFS文件系统和Map/Reduce计算模型配置类优化，与G‑cloud云平台协同无缝集成，灵活使用G‑cloud云平台提供的基础设施及基础服务。