[发明专利]一种基于hadoop异构存储的数据存储方法及系统

摘要

本发明所提供一种基于hadoop异构存储的数据存储方法及系统，其首先，获取数据在一段时间内被访问频率；其次，根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；最后，根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述数据存储硬盘。通过获取数据在最近一段时间内使用频率，根椐数据的使用频率不同，自动将hadoop数据分级存储，将使用频率高的数据存放在SSD高速硬盘，将使用频率高中等的数据放在高速机械硬盘上，将使用频率低的数据存放在低速机械硬盘上，提升系统的整体性能。

主权项

一种基于hadoop异构存储的数据存储方法，其特征在于：其包括：A、获取设置于hadoop集群的数据节点上的存储硬盘中的数据在一段时间内的被访问频率；B、根据所述被访问频率，查找预先设置与所述被访问频率对应的数据存储硬盘，确定为所述被访问频率数据的存储硬盘；C、根据所述被访问频率数据的存储硬盘，将所述数据迁移至所述存储硬盘;所述步骤A具体包括：记录数据在一段时间内被访问次数；根据数据被访问次数，计算数据被访问频率;所述数据被访问次数记录于设置于数据访问层的访问日志记录层;所述访问日志记录层为增设的，且记录每个数据被访问的情况；当数据被访问时，在所述访问日志记录层内,将数据被访问的情况与被访问的时间作为一组信息存储，并按照时间由早先近的顺序存储。