[发明专利]一种文件存储及下载方法、装置及设备有效
申请号: | 201910005177.3 | 申请日: | 2019-01-03 |
公开(公告)号: | CN109739814B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 张琦炜;李靖 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/178;G06F16/13 |
代理公司: | 北京晋德允升知识产权代理有限公司 11623 | 代理人: | 王戈 |
地址: | 开曼群岛大开曼岛乔治镇医院*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文件 存储 下载 方法 装置 设备 | ||
本说明书实施例公开了一种文件存储及下载方法、装置及设备。所述文件存储方法包括:接收待存储的多个源文件;将待存储的多个源文件进行合并,得到一个或多个合并文件,并生成与所述合并文件中的源文件对应的元信息;将合并文件存储于第一存储介质,元信息存储于第二存储介质。所述文件下载方法包括:接收文件下载请求;根据文件下载请求,获取文件下载请求对应的元信息;根据文件下载请求对应的元信息,定位文件下载请求对应的合并文件中的源文件;从文件下载请求对应的合并文件中,下载文件下载请求所对应的源文件。
技术领域
本说明书涉及计算机技术领域,尤其涉及一种文件存储及下载方法、装置及设备。
背景技术
随着电商的发展,基于电商开展的支付业务越来越多,每天会生成上亿级的离线账单,产生海量数据。该离线账单需要存储到稳定且持久的存储介质中,以便用户下载使用。
在现有技术中,对于诸如离线账单等海量数据的存储,使用OSS(Object StorageService,对象存储)存储,能够实现数据的安全、可靠及低成本存储,但是该存储方式对小文件处理性能不高,由于需要对小文件单独进行I/O(input/output,输入/输出)操作,导致存储低效。离线账单等海量数据的存储也可以采用HBase进行存储,由于HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,因此能够较好的支持海量数据的存储,方便后续查询及下载,但是HBase需要较大的集群及相应的维护人员,因此存储成本较高。
基于现有技术,需要一种新的方法,能够满足海量小文件的存储需要,既能实现高效的存储,又能维持较低的存储成本,从而实现稳定、可靠、高效的文件存储及下载。
发明内容
本说明书实施例提供一种文件存储及下载方法、装置及设备,用于解决以下技术问题:能够满足海量小文件的存储需要,既能实现高效的存储,又能维持较低的存储成本,从而实现稳定、可靠、高效的文件存储及下载。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种文件存储方法,包括:
接收待存储的多个源文件;
将所述待存储的多个源文件进行合并,得到一个或多个合并文件,并生成与所述合并文件中的源文件对应的元信息,其中所述元信息用于记录所述源文件与所述合并文件之间的对应关系;
将所述合并文件存储于第一存储介质,所述信息存储于第二存储介质,其中,所述第一存储介质的存储成本低于所述第二存储介质,所述第二存储介质的存储效率高于所述第一存储介质。
本说明书实施例还提供一种文件下载方法,包括:
接收文件下载请求;
根据所述文件下载请求,获取所述文件下载请求对应的元信息;
根据所述文件下载请求对应的元信息,定位所述文件下载请求对应的合并文件中的源文件;
从所述文件下载请求对应的合并文件中,下载所述文件下载请求所对应的源文件。
本说明书实施例提供的一种文件存储装置,包括:
接收单元,用于接收待存储的多个源文件;
处理单元,将所述待存储的多个源文件进行合并,得到一个或多个合并文件,并生成与所述合并文件中的源文件对应的元信息,其中所述元信息用于记录所述源文件与所述合并文件之间的对应关系;
存储单元,将所述合并文件存储于第一存储介质,所述元信息存储于第二存储介质,其中,所述第一存储介质的存储成本低于所述第二存储介质,所述第二存储介质的存储效率高于所述第一存储介质。
本说明书实施例还提供一种文件下载装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910005177.3/2.html,转载请声明来源钻瓜专利网。