[发明专利]一种基于hadoop异构存储的数据存储方法及系统

权利要求书

1.一种基于hadoop异构存储的数据存储方法，其特征在于：其包括：

A、获取设置于hadoop集群的数据节点上的存储硬盘中的数据在一段时间内的被访问频率；

B、根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；

C、根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述存储硬盘;

所述步骤A具体包括：

记录数据在一段时间内被访问次数；

根据数据被访问次数，计算数据被访问频率;

所述数据被访问次数记录于设置于数据访问层的访问日志记录层;

所述访问日志记录层为增设的，且记录每个数据被访问的情况；

当数据被访问时，在所述访问日志记录层内,将数据被访问的情况与被访问的时间作为一组信息存储，并按照时间由早先近的顺序存储。

2.根据权利要求1所述的基于hadoop异构存储的数据存储方法，其特征在于，其还包括，预先设置用于确定被访问频率与存储硬盘对应关系的阈值、以及被访问频率与存储硬盘的对应关系；所述关系为：

被访问频率小于第一阈值，数据存储于低速机械硬盘，

第一阈值小于被访问频率，且被访问频率小于第二阈值，数据存储于高速机械硬盘，

被访问频率大于第二阈值，数据存储于SSD高速硬盘。

3.根据权利要求1或2所述的基于hadoop异构存储的数据存储方法，其特征在于，所述存储硬盘包括：SSD高速硬盘、高速机械硬盘和低速机械硬盘。

4.根据权利要求1所述的基于hadoop异构存储的数据存储方法，其特征在于，所述数据被访问次数为数据读取次数、写入次数、以及删除次数的和。

5.一种基于hadoop异构存储的数据存储系统，其特征在于，其包括：

获取模块，用于获取设置于hadoop集群的数据节点上的存储硬盘中的数据在一段时间内的被访问频率；

查找模块，用于根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；

迁移模块，用于根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述数据存储硬盘;

所述获取模块包括：

记录子单元，用于记录数据在一段时间内被访问次数；

计算单元，用于根据数据被访问次数，计算数据被访问频率;

其中，所述被访问次数记录于设置于数据访问层的访问日志记录层；所述访问日志记录层为增设的，且记录每个数据被访问的情况；

当数据被访问时，在所述访问日志记录层内,将数据被访问的情况与被访问的时间作为一组信息存储，并按照时间由早先近的顺序存储。

6.根据权利要求5所述的基于hadoop异构存储的数据存储系统，其特征在于，其还包括：

预设模块，用于预先设置用于确定被访问频率与存储硬盘对应关系的阈值、以及被访问频率与存储硬盘的对应关系；所述关系为：

被访问频率小于第一阈值，数据存储于低速机械硬盘，

第一阈值小于被访问频率，且被访问频率小于第二阈值，数据存储于高速机械硬盘，

被访问频率大于第二阈值，数据存储于SSD高速硬盘。

7.根据权利要求5或6所述的基于hadoop异构存储的数据存储系统，其特征在于，所述存储硬盘包括：SSD高速硬盘、高速机械硬盘和低速机械硬盘。