[发明专利]一种海量非结构化数据文件分布式颗粒化的存储方法在审
申请号: | 202010368335.4 | 申请日: | 2020-04-30 |
公开(公告)号: | CN111414346A | 公开(公告)日: | 2020-07-14 |
发明(设计)人: | 鲁建华;李耀;田骏;石龙 | 申请(专利权)人: | 武汉众邦银行股份有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/16 |
代理公司: | 成都正煜知识产权代理事务所(普通合伙) 51312 | 代理人: | 徐金琼 |
地址: | 432200 湖北省武汉市黄陂区盘龙城经济开发区汉*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及数据存储技术领域,具体的提供了一种海量非结构化数据文件分布式颗粒化的存储方法。主旨在于解决解决现有分布式存在如存在分割后的部分数据丢失,则会造成整个文件无法读取。主要方案包括,将需要存储的数据文件按照固定大小切割成N等份小文件,并记录数据文件的每个切割点;将切割后的颗粒化小文件拷贝成Y副本,分散存储至服务器集群中,并记录每个颗粒化小文件在服务器集群中的位置;将每个颗粒化小文件在服务器集群中的位置、数据文件的每个切割点信息汇总形成存储信息元数据,存储信息元数据提供快速索引;将每个颗粒化小文件根据步骤1中记录的切割点进行拼接,如当前节点的颗粒化小文件丢失,则由下一个切割点的小文件补位。 | ||
搜索关键词: | 一种 海量 结构 数据文件 分布式 颗粒 存储 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉众邦银行股份有限公司,未经武汉众邦银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010368335.4/,转载请声明来源钻瓜专利网。