[发明专利]数据处理方法、装置、电子设备及可读存储介质在审
申请号: | 201911111597.6 | 申请日: | 2019-11-14 |
公开(公告)号: | CN112799585A | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 贾宝雷;段立国 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 田宏宾 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
本申请公开了数据处理方法、装置、电子设备及可读存储介质,涉及数据处理技术。本申请实施例通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。
技术领域
涉及计算机技术,具体涉及数据处理技术,尤其涉及数据处理方法、装置、电子设备及可读存储介质。
背景技术
传统的数据存取方法,采用基于采用随机存取方式的存储设备的数据存储系统,可以提供低延迟、高吞吐的在线存储服务。
但是,由于采用随机存取方式的存储设备的成本较高,使得采用基于采用随机存取方式的存储设备的数据存储系统,进行数据存储的存储成本较高。
发明内容
本申请的多个方面提供数据处理方法、装置、电子设备及可读存储介质,用以降低数据存储的存储成本。
本申请的一方面,提供一种数据处理方法,包括:
接收用户将要存储的数据的存储请求;
将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;
将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储系统包括第一分布式存储系统;所述将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,包括:
将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据;
向消息队列发布异步数据存储任务;
向所述用户确认所述数据存储成功。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第二存储系统包括第二分布式存储系统;所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,包括:
从所述消息队列中订阅异步数据存储任务;
根据所订阅的异步数据存储任务,获取所述数据的元数据,根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据;
对所述第一分布式存储系统中的所述数据,进行删除处理。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,还包括:
将已经完成的异步数据存储任务的任务标识进行存储处理。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。
本申请的另一方面,提供另一种数据处理方法,包括:
接收用户将要取回的数据的取回请求;
将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;
接收所述数据的读取请求;
从所述第一存储系统中读取所述数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911111597.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种小麦高抗穗发芽材料的培育方法
- 下一篇:一种蒸箱烤箱微波炉一体机