[发明专利]一种基于HDFS的高性能文件存储与管理系统在审
| 申请号： | 201910722847.3 | 申请日： | 2019-08-06 |
| 公开（公告）号： | CN110647497A | 公开（公告）日： | 2020-01-03 |
| 发明（设计）人： | 吴宗泽;张兴斌;李建中;梁泽逍;李俊彬;黄婷婷 | 申请（专利权）人： | 广东工业大学 |
| 主分类号： | G06F16/11 | 分类号： | G06F16/11;G06F16/182 |
| 代理公司： | 44102 广州粤高专利商标代理有限公司 | 代理人： | 张金福 |
| 地址： | 510006 广东省*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于HDFS的高性能文件存储与管理系统，为解决HDFS对小文件存储支持的不足提出了文件预处理模块和文件合并模块，为提高文件读取效率提出了预取缓存模块，为提高空间整体利用率提出了碎片整理模块，为保护用户隐私文件提出了数据加密模块。本发明提出一种通用的小文件合并策略和HDFS客户端优化方案，结合了HAR文件归档方法和MapFile方法的优点，以适用于任何类型的文件。具体地，该系统优化了小文件合并策略并提出一种懒更新的碎片整理机制，以提高HDFS集群的空间利用率。同时，基于频率统计的热点文件策略提高了数据的读取速度，基于MD5登录加密和AES文件加密提高了用户账号和隐私文件的安全性。 | ||
| 搜索关键词： | 碎片整理 小文件 读取 数据加密模块 文件合并模块 空间利用率 文件预处理 小文件存储 整体利用率 管理系统 缓存模块 频率统计 热点文件 文件存储 文件读取 文件加密 系统优化 隐私文件 用户隐私 用户账号 合并 客户端 通用的 归档 集群 预取 登录 加密 更新 优化 | ||
【主权项】：
1.一种基于HDFS的高性能文件存储与管理系统，接收客户端上传的文件，并与HDFS集群进行数据交换，包括HDFS客户端，其特征在于，还包括文件预处理模块、文件合并模块和预取缓存模块，其中：/n所述文件预处理模块接收客户端上传的文件并对上传的文件进行大小计算和类型判定，并创建该文件的元数据信息，根据上传的文件的大小分为小文件、中文件和大文件，小文件、中文件传入文件合并队列等待文件合并模块的读取，大文件直接存入HDFS集群；/n所述文件合并模块读取文件合并队列中小文件或中文件，根据文件类型判断需要追加到的目标合并文件类型，若属于该合并文件的剩余容量大于等于小文件或中文件的大小，则启动合并操作任务并创建合并文件与小文件或中文件的映射关系，即二级索引，若该合并文件的剩余容量小于小文件或中文件的大小时则将当前合并文件和二级索引作为一个数据块存入HDFS集群中，同时创建一个新的且与该合并文件类型一致的合并文件，将文件合并队列中待合并文件写入新的合并文件中；合并文件存入HDFS集群中；/n所述预取缓存模块将用户频繁访问的文件信息映射关系表加载到本地内存中，建立客户端与HDFS集群的DataNode的直接联系。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东工业大学，未经广东工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910722847.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种挖矿处理系统
- 下一篇：一种文件存储方法、装置、设备及计算机可读存储介质
