[发明专利]一种数据处理方法和装置有效
申请号: | 201910246043.0 | 申请日: | 2019-03-28 |
公开(公告)号: | CN109947373B | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 刘爱贵;陈彬彬;阮薛平 | 申请(专利权)人: | 北京大道云行科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 曹桓 |
地址: | 100000 北京市海淀区西小口路66*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
确定本地数据中的第一类数据;
将所述第一类数据从本地存储器迁移至云存储;
所述确定本地数据中的第一类数据,包括:
根据元数据,确定本地数据中的所述第一类数据,所述元数据记录有数据的属性信息;
所述第一类数据为冷数据,所述属性信息包括读频度或写频度,所述根据元数据,确定本地数据中的所述第一类数据,包括:
根据所述属性信息,确定所述本地数据的读频度或写频度,所述读频度为租期内对所述本地数据的读次数,所述写频度为所述租期内对所述本地数据的写次数;
在所述读次数小于预设读次数的情况下,确定所述本地数据为所述冷数据;或,
在所述写次数小于预设写次数的情况下,确定所述本地数据为所述冷数据;
所述租期的使用方法包括:
在访问文件的情况下,若确定所述文件没有租期,则创建一个新的租期,并将数据库中的本地数据的读频度以及写频度清零;
在读写所述文件的情况下,所述数据库中的本地数据的读频度以及写频度的字段值会自增,同时所述本地数据对应的租期会重新计算;
在本地数据对应的租期失效的情况下,将所述数据库中的本地数据对应的读频度以及写频度字段清零,最后销毁所述租期。
2.根据权利要求1所述的数据处理方法,其特征在于,所述属性信息包括迁移标识,所述迁移标识用于表示所述本地数据是否迁移至所述云存储中,所述数据处理方法还包括:
在所述第一类数据迁移完成后,将所述第一类数据对应的迁移标识设置为第一值,所述第一值表示所述第一类数据已迁移至所述云存储。
3.根据权利要求1所述的数据处理方法,其特征在于,所述属性信息包括数据的大小和所述数据在所述云存储中的路径信息,所述数据处理方法还包括:
在所述第一类数据迁移完成后,在所述本地存储器删除所述第一类数据,并将所述第一类数据的大小和所述路径信息记录在所述元数据中。
4.根据权利要求3所述的数据处理方法,其特征在于,所述数据处理方法还包括:
获取所述第一类数据的数据访问请求;
根据所述元数据记录的所述第一类数据在云存储中的路径信息,将所述第一类数据从所述云存储下载到所述本地存储器。
5.根据权利要求4所述的数据处理方法,其特征在于,所述属性信息包括回迁标识,所述回迁标识用于表示所述第一类数据是否已经回迁至所述本地存储器,所述数据处理方法还包括:
在所述第一类数据回迁完成后,将所述第一类数据对应的回迁标识设置为第二值,所述第二值用于表示所述第一类数据已回迁至所述本地存储器。
6.根据权利要求5所述的数据处理方法,其特征在于,所述数据处理方法还包括:
根据所述属性信息,确定已回迁的第一类数据;
在所述本地存储器将回迁的第一类数据进行删除,并将所述回迁的第一类数据对应的回迁标识设置为第三值,所述第三值用于表示所述第一类数据未回迁至所述本地存储器。
7.一种数据处理装置,其特征在于,包括:
确定模块,用于确定本地数据中的第一类数据;
迁移模块,用于将所述第一类数据从本地存储器迁移至云存储;
所述确定模块,还用于根据元数据,确定本地数据中的所述第一类数据,所述元数据记录有数据的属性信息;
所述第一类数据为冷数据,所述属性信息包括读频度或写频度,所述确定模块,还用于:根据所述属性信息,确定所述本地数据的读频度或写频度,所述读频度为租期内对所述本地数据的读次数,所述写频度为所述租期内对所述本地数据的写次数;在所述读次数小于预设读次数的情况下,确定所述本地数据为所述冷数据;或,在所述写次数小于预设写次数的情况下,确定所述本地数据为所述冷数据;
所述确定模块,还用于在访问文件的情况下,若确定所述文件没有租期,则创建一个新的租期,并将数据库中的本地数据的读频度以及写频度清零;
所述数据处理装置还包括:
自增模块,用于在读写所述文件的情况下,所述数据库中的本地数据的读频度以及写频度的字段值会自增,同时所述本地数据对应的租期会重新计算;
清零模块,用于在本地数据对应的租期失效的情况下,将所述数据库中的本地数据对应的读频度以及写频度字段清零,最后销毁所述租期。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大道云行科技有限公司,未经北京大道云行科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910246043.0/1.html,转载请声明来源钻瓜专利网。