[发明专利]数据处理方法、装置、电子设备及可读存储介质在审
申请号: | 201911111597.6 | 申请日: | 2019-11-14 |
公开(公告)号: | CN112799585A | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 贾宝雷;段立国 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 田宏宾 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
接收用户将要存储的数据的存储请求;
将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;
将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。
2.根据权利要求1所述的方法,其特征在于,所述第一存储系统包括第一分布式存储系统;所述将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,包括:
将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据;
向消息队列发布异步数据存储任务;
向所述用户确认所述数据存储成功。
3.根据权利要求2所述的方法,其特征在于,所述第二存储系统包括第二分布式存储系统;所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,包括:
从所述消息队列中订阅异步数据存储任务;
根据所订阅的异步数据存储任务,获取所述数据的元数据,根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据;
对所述第一分布式存储系统中的所述数据,进行删除处理。
4.根据权利要求3所述的方法,其特征在于,所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,还包括:
将已经完成的异步数据存储任务的任务标识进行存储处理。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。
6.一种数据处理方法,其特征在于,包括:
接收用户将要取回的数据的取回请求;
将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;
接收所述数据的读取请求;
从所述第一存储系统中读取所述数据。
7.根据权利要求6所述的方法,其特征在于,所述第一存储系统包括第一分布式存储系统;所述第二存储系统包括第二分布式存储系统;所述将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,包括:
向消息队列发布异步数据取回任务;
向所述用户确认所述数据取回受理成功;
从所述消息队列中订阅异步数据取回任务;
根据所订阅的异步数据取回任务,获取所述数据的元数据,根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,更新所述数据的元数据;
向所述用户确认所述数据取回成功。
8.根据权利要求7所述的方法,其特征在于,所述将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,还包括:
将已经完成的异步数据取回任务的任务标识进行存储处理。
9.根据权利要求6-8中任一项所述的方法,其特征在于,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。
10.一种数据处理装置,其特征在于,包括:
请求处理单元,用于接收用户将要存储的数据的存储请求;
缓存控制单元,用于将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;
迁移控制单元,用于将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911111597.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种小麦高抗穗发芽材料的培育方法
- 下一篇:一种蒸箱烤箱微波炉一体机