[发明专利]一种新型大数据存储方法

权利要求书

1.一种新型大数据存储方法，其特征在于，包括以下步骤：

S1、选用优秀的数据库工具；

S2、编写优良的程序代码；

S3、对海量数据进行分区操作；

S4、建立广泛的索引，建立缓存机制；

S5、加大虚拟内存，分批处理；

S6、使用数据仓库和多维数据库存储；

S7、使用采样数据，进行数据挖掘，海量数据关联存储。

2.根据权利要求1所述的一种新型大数据存储方法，其特征在于，所述步骤S1中数据库的类型主要包括：关系数据库、列式数据库、键值数据库、图形数据库和分布式文档存储数据库。

3.根据权利要求1所述的一种新型大数据存储方法，其特征在于，所述步骤S3中的分区操作包括三个区，且三个区分别为热点区、温点区和冷点区，所述热点区对应最热点最新的数据，需要对线上服务提供低延迟的随机读写；所述温点区对应相对热点但只用于批量计算无需实时访问读取的随机数据；所述冷点区对应十分低频访问的历史数据。

4.根据权利要求3所述的一种新型大数据存储方法，其特征在于，对于所述需要随机读写的热点区数据，使用Hbase和SSD硬盘来提供平均20ms的随机读性能，对于所述大规模分析计算的温点区，使用Spark、Parquet和混合硬盘存储，对于所述低频访问数据的冷点区使用Hive，HDFS来保存全部的数据。

5.根据权利要求1所述的一种新型大数据存储方法，其特征在于，所述步骤S6中的数据仓库从多个信息源中获取原始数据，经过整理加工后存储在数据仓库的内部数据库，通过数据仓库访问工具，向数据仓库的用户提供统一、协调和集成的信息环境，支持企业全局决策过程和对企业经营管理的深入综合分析。

6.根据权利要求1所述的一种新型大数据存储方法，其特征在于，所述数据实时采集工具选用Kafka，所述数据离线采集的工具选用ETL，所述数据互联网采集的工具选用Crawler。

7.根据权利要求1所述的一种新型大数据存储方法，其特征在于，所述数据采样时运用的方法大致为简单随机抽样、分层采样、水塘采样、随机欠采样和过采样。