[发明专利]小文件性能优化方法及系统有效
申请号: | 202110032463.6 | 申请日: | 2021-01-11 |
公开(公告)号: | CN112597104B | 公开(公告)日: | 2023-07-04 |
发明(设计)人: | 谌显;尹微;文中领;周泽湘 | 申请(专利权)人: | 武汉飞骥永泰科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/16;G06F16/172;G06F3/06 |
代理公司: | 北京方韬法业专利代理事务所(普通合伙) 11303 | 代理人: | 党小林 |
地址: | 430000 湖北省武汉市武汉东湖新技术开发区关山大*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 性能 优化 方法 系统 | ||
1.一种小文件性能优化方法,其特征在于,包括:
将小文件的数据内容及元数据组成元数据数据库;以及
通过访问元数据数据库,执行对小文件的IO操作;
还包括:
将多个小文件缓存,合并成一个大数据块;
依据合并后的大数据块,执行小文件的IO操作;
在实际执行小文件存储时,根据业务模型动态调整存储方式,此处所谓的调整,是指在直接索引存储与合并存储的存储技术方案中选择一个;所述直接索引存储是指将小文件的数据内容和元数据一起打包存放在元数据数据库;所述合并存储是指将多个小文件缓存,并合并成一个大数据块写入,并在元数据数据库中增加多条记录,用于描述每个小文件在大数据块中的位置信息;
还包括存储策略决策器,统计小文件写的频度,动态调整存储方式。
2.根据权利要求1所述的小文件性能优化方法,其特征在于,将多个小文件缓存,合并成一个大数据块,包括:
缓存文件数量到达数量上限时,将多个小文件缓存合并成一个大数据块。
3.根据权利要求1所述的小文件性能优化方法,其特征在于,将多个小文件缓存,合并成一个大数据块,包括:
文件缓存时间到达时间上限,将多个小文件缓存合并成一个大数据块。
4.根据权利要求1所述的小文件性能优化方法,其特征在于,还包括:
统计小文件的IO频度,并根据得到的IO频度动态调整存储方式。
5.根据权利要求4所述的小文件性能优化方法,其特征在于,统计小文件的IO频度,并根据得到的IO频度动态调整存储方式,包括:
根据IO频度,动态调整数量上限。
6.根据权利要求4所述的小文件性能优化方法,其特征在于,统计小文件的IO频度,并根据得到的IO频度动态调整存储方式,包括:
根据IO频度,动态调整时间上限。
7.根据权利要求1所述的小文件性能优化方法,其特征在于,小文件性能优化方法适用于本地文件系统及分布式文件系统。
8.一种小文件性能优化系统,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据权利要求1至7任意一项所述的小文件性能优化方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉飞骥永泰科技有限公司,未经武汉飞骥永泰科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110032463.6/1.html,转载请声明来源钻瓜专利网。