[发明专利]一种基于hadoop异构存储的数据存储方法及系统

说明书

技术领域

本发明涉及分布式架构领域，特别涉及一种基于hadoop异构存储的数据存储方法及系统。

背景技术

Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。Hadoop以并行的方式工作，通过并行处理加快处理速度，能够处理PB级数据。但现有的hadoop集群一般都是采用单一的机械硬盘作存储，没有按使用频率区分数据的级别，在使用过程中经常因磁盘I/O瓶颈影响效率。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于hadoop异构存储的数据存储方法及系统，其能够解决现有采用单一的机械硬盘作存储，没有按使用频率区分数据的级别，在使用过程中经常因磁盘I/O瓶颈影响效率的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于hadoop异构存储的数据存储方法，其包括：

A、获取设置于hadoop集群的数据节点上的存储硬盘中的数据在一段时间内的被访问频率；

B、根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；

C、根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述存储硬盘。

所述基于hadoop异构存储的数据存储方法，其还包括，预先设置用于确定被访问频率与存储硬盘对应关系的阈值、以及被访问频率与存储硬盘的对应关系；所述关系为：

被访问频率小于第一阈值，数据存储于低速机械硬盘，

第一阈值小于被访问频率，且被访问频率小于第二阈值，数据存储于高速机械硬盘，

被访问频率大于第二阈值，数据存储于SSD高速硬盘。

所述基于hadoop异构存储的数据存储方法，其中，所述存储硬盘包括：SSD高速硬盘、高速机械硬盘和低速机械硬盘。

所述基于hadoop异构存储的数据存储方法，其中，所述步骤A具体包括：

A1、记录数据在一段时间内被访问次数；

A2、根据数据被访问次数，计算数据被访问频率。

所述基于hadoop异构存储的数据存储方法，其中，所述数据被访问次数记录于设置于数据访问层的访问日志记录层。

所述数据被访问次数为数据读取次数、写入次数、以及删除次数的和。

一种基于hadoop异构存储的数据存储系统，其包括：

获取模块，用于获取设置于hadoop集群的数据节点上的存储硬盘中的数据在一段时间内的被访问频率；

查找模块，用于根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；

迁移模块，用于根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述数据存储硬盘。

所述基于hadoop异构存储的数据存储系统，其还包括：

预设模块，用于预先设置用于确定被访问频率与存储硬盘对应关系的阈值、以及被访问频率与存储硬盘的对应关系；所述关系为：

被访问频率小于第一阈值，数据存储于低速机械硬盘，

第一阈值小于被访问频率，且被访问频率小于第二阈值，数据存储于高速机械硬盘，

被访问频率大于第二阈值，数据存储于SSD高速硬盘。

所述存储硬盘包括：SSD高速硬盘、高速机械硬盘和低速机械硬盘。

所述基于hadoop异构存储的数据存储系统，其中，所述获取模块包括：

记录子单元，用于记录数据在一段时间内被访问次数；

计算单元，用于根据数据被访问次数，计算数据被访问频率。