[发明专利]基于混合存储的数据管理系统、方法、终端及介质在审
申请号: | 201811383927.2 | 申请日: | 2018-11-20 |
公开(公告)号: | CN109491618A | 公开(公告)日: | 2019-03-19 |
发明(设计)人: | 殷树;邓通亮 | 申请(专利权)人: | 上海科技大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 高彦 |
地址: | 201210 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 挂载 后端文件系统 数据管理系统 文件系统 用户态文件系统 用户数据请求 冷热 存储 终端 存储系统 管理操作 节能效果 数据标记 选择模块 冷数据 热数据 申请 取出 标签 保证 | ||
本申请提供基于混合存储的数据管理系统、方法、终端及介质,其中,所述数据管理系统包括:第一文件系统挂载模块,用于挂载至少一用户态文件系统;第二文件系统挂载模块,用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统,以分别用于存放热数据和冷数据;数据标记模块,用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签;文件系统选择模块,用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。本申请达到了显著的节能效果,且保证了存储系统的可靠性,且没有损坏数据的一致性。
技术领域
本申请涉及数据处理技术领域,特别是涉及基于混合存储的数据管理系统、方法、终端及介质。
背景技术
随着国内信息化建设的深入和移动互联网的发展,个人和企业所产生的数据量也越来越大,这也催生了许多公有或私有的云存储中心,例如企业网内部的私有云,落户贵州的苹果公司iCould数据中心等。但是越来越多的迹象表明,数据中心的能量消耗中超过27%是被存储设备所使用的。随着数据中心存储容量的急剧上升,存储设备所消耗的能量也在不断的增加。为了减少存储设备的能耗,达到经济和环境的双重优势,优化数据管理系统是非常必要的。
传统的文件存储系统,主要是依靠调整机械磁盘(Hard Disk Drive)的转速或挂起不在使用的机械磁盘,以达到节能的目的。但是经常性的启停机械磁盘或改变其转速,会严重影响它的寿命,对于数据的可靠性也十分不利。
随着固态硬盘(Solid State Drive)的出现,存储系统也开始将固态硬盘纳入其中。由于固态硬盘具有较高的随机读写性能以及低功耗的特点,这也为存储系统的发展提出了新的设计理念。文件存储系统开始依据存储介质进行层次化的划分,将热点数据存储在固态硬盘上,将不常使用的数据(即冷数据)存放在机械磁盘上,不仅能够达到对热点数据快速读写的要求,也能够达到一定程度的节能效果,这就是所谓的混合存储系统。不过不同的存储介质的引入,对文件系统的管理提出了更高的要求,也带来了对于数据分布均衡以及数据一致性的挑战。
但是,传统的混合存储系统对于磁盘的寿命的影响比较显著,频繁地启停机械磁盘会导致磁盘状态不稳定,减少磁盘寿命,严重的情况会导致数据丢失。
申请内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供基于混合存储的数据管理系统、方法、终端及介质,用于解决现有技术中磁盘状态不稳定,磁盘寿命短等问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种基于混合存储的数据管理系统,其包括:第一文件系统挂载模块,用于挂载至少一用户态文件系统;第二文件系统挂载模块,用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统,以分别用于存放热数据和冷数据;数据标记模块,用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签;文件系统选择模块,用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。
在本申请第一方面的一些实施方式中,所述数据标记模块标记用户数据请求的方式包括:根据用户配置信息和/或数据特征,定义写数据请求中的数据的冷热属性;根据用户配置信息和/或系统记录,定义读数据请求中的数据的冷热属性。
在本申请第一方面的一些实施方式中,所述数据标记模块用于将待写入的全部数据统一标记为热数据或冷数据;所述文件系统选择模块用于将不符合访问频率条件的写入数据从当前冷热属性的后端文件系统迁移至另一冷热属性的后端文件系统。
在本申请第一方面的一些实施方式中,所述数据标记模块用于将待写入的全部数据统一标记为热数据;所述文件系统选择模块用于将所述数据标记模块标记的热数据存放至热数据后端文件系统中,且记录所述热数据后端文件系统中的数据的访问频率;所述数据标记模块还用于将访问频率落入第一预设阈值范围的数据标记为冷数据;所述文件系统选择模块用于将所述数据标记模块标记的冷数据迁移至冷数据后端文件系统中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海科技大学,未经上海科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811383927.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据储存转发方法、电子设备、存储介质
- 下一篇:缓存数据处理方法、装置和系统