[发明专利]一种数据存储方法、装置和系统

说明书

本发明提供了一种数据存储方法、装置和系统，部署的数据存储系统包括硬盘驱动器(HDD)和固态硬盘(SSD)，还包括监控调度中心；监控调度中心收集所述HDD和SSD上各数据文件的访问频率信息，依据访问频率信息将各数据文件分为冷数据和热数据；调度热数据到SSD以及调度冷数据到HDD。本发明提供的HDD及SSD异构存储的方式，能够在满足性能需要的前提下，提高可运营性及降低成本。

【技术领域】

本发明涉及计算机应用技术领域，特别涉及一种数据存储方法、装置和系统。

【背景技术】

HBase是一个分布式的、高性能、面向列的开源数据库，利用HBase技术可在廉价PC服务器上搭建起大规模结构化存储集群。现有HBase的数据采用如图1中所示的存储方式，即每个数据文件保存在HDD(Hard Disk Drive，硬盘驱动器)上，以HDD作为数据存储介质。HDD虽然具有容量大和价格低的优势，但性能较低，当整个HBase集群的性能无法满足应用的需要时，需要升级HDD到SSD(Solid State Drive，固态硬盘)来满足性能需要，即采用如图2中所示的存储方式，每个数据文件保存在SSD上。在总体容量不变的情况下，将需要更多数量的SSD。然而，SSD虽然具有性能高的优势，但容量小且价格高，这就会造成机房中机器数量更多、可运维性降低且整体成本较高。

【发明内容】

有鉴于此，本发明提供了一种数据存储方法、装置和系统，在满足性能需要的前提下，提高可运营性及降低成本。

具体技术方案如下：

本发明提供了一种数据存储的方法，部署的数据存储系统包括硬盘驱动器HDD和固态硬盘SSD；所述方法包括：

收集所述HDD和SSD上各数据文件的访问频率信息，依据访问频率信息将各数据文件分为冷数据和热数据；

调度热数据到SSD以及调度冷数据到HDD。

根据本发明一优选实施方式，所述HDD的总存储容量大于所述SSD的总存储容量。

根据本发明一优选实施方式，所述HDD与所述SSD的总存储容量比例约为8:2。

根据本发明一优选实施方式，所述依据访问频率信息将各数据文件分为冷数据和热数据包括：

依据访问频率信息对各数据文件进行排序，将排在前M个的数据文件确定为热数据，所述前M个数据文件的大小小于或等于所述SDD的总存储容量。

根据本发明一优选实施方式，所述调度热数据到SSD以及调度冷数据到HDD包括：

按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；以及，

按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。

根据本发明一优选实施方式，所述一定的顺序包括：

按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序。

根据本发明一优选实施方式，在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；

在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。

本发明提供了一种数据存储的装置，该装置应用于部署了HDD和SSD的数据存储系统，所述装置包括：

收集单元，用于收集所述HDD和SSD上各数据文件的访问频率信息；

判别单元，用于依据访问频率信息将所述各数据文件分为冷数据和热数据；