[发明专利]一种低成本数据存储方法

说明书

本发明公开了数据存储技术领域的一种低成本数据存储方法，S1：存储硬件的选择，S2：数据的存储，S3：数据的备份，S4：数据的查询，本发明使用基于Hdfs的Hive来保存所有数据，使用Hive能够允许通过api和交互式客户端进行查询历史数据，数据按照日期进行分组，提升查询某一个时间段内的数据的性能，使用价格低，使用价格低与存储比高的HDD盘作为硬件。

技术领域

本发明涉及数据存储技术领域，具体为一种低成本数据存储方法。

背景技术

随着业务和时间的不断发展，用户以及产品相关的数据量的持续扩大，TB级甚至PB级的数据已经十分常见了。原先的传统关系型数据库在面对如此巨大的数据量时，会极大的降低性能甚至无法使用。但如果使用现代的分布式列式存储，如Hbase，虽然确实能够将如此巨大的数据存储下来，但是由于Hbase是用于提供线上服务的高性能随机读写，所以如果将全部数据存在价格昂贵的SSD硬盘中，会导致硬件成本的巨大上涨。基于此，本发明设计了一种低成本数据存储方法，以解决上述问题。

发明内容

本发明的目的在于提供一种低成本数据存储方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种低成本数据存储方法，

S1：存储硬件的选择

选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；

S2：数据的存储

使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入，Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，Hdfs中存储数据的方式按照日期进行分组，所述Hive包括数据源、数据存储和管理、数据服务和数据应用；

S3：数据的备份

利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；

S4：数据的查询

通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据，Hive能够允许通过api和交互式客户端进行查询历史数据。

优选的，所述步骤S1中为ST6000NM0034NWCCG Dell 6TB 3.5寸12Gb HDDV4 SAS硬盘。

优选的，所述POSIX为可移植操作系统接口。

优选的，所述数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，所述数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，所述数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，所述数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。

优选的，所述OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

与现有技术相比，本发明的有益效果是：

1)本发明使用基于Hdfs的Hive来保存所有数据；

2)本发明使用Hive能够允许通过api和交互式客户端进行查询历史数据；

3)本发明数据按照日期进行分组，提升查询某一个时间段内的数据的性能；

4)本发明使用价格低，使用价格低与存储比高的HDD盘作为硬件。