[发明专利]一种文件清理的方法和装置有效
申请号: | 201710605799.0 | 申请日: | 2017-07-24 |
公开(公告)号: | CN110019026B | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 何林艳 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;姜劲 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文件 清理 方法 装置 | ||
1.一种文件清理的方法,其特征在于,包括:
删除Hive外部表,然后确定删除所述Hive外部表对应的数据文件;
根据预设的外部表结构信息表,获取所述外部表对应的数据文件,以删除所述对应的数据文件;其中,所述的外部表结构信息表中存储Hive外部表信息与数据文件信息的映射关系;
或者,所述删除Hive外部表之后,包括:
确定不删除所述Hive外部表对应的数据文件;
获取删除所述Hive外部表对应的数据文件的时间,然后将所述时间和所述Hive外部表存储到配置表中;
确认达到所述时间时,在所述配置表中获取所述Hive外部表;然后根据预设的外部表结构信息表,获取所述Hive外部表对应的数据文件,以删除所述对应的数据文件;其中,所述的外部表结构信息表中存储Hive外部表信息与数据文件信息的映射关系。
2.根据权利要求1所述的方法,其特征在于,所述外部表结构信息表中还存储Hive外部表信息与用户信息的映射关系;
确认达到所述时间之前,包括:
确定当前时间与删除数据文件的时间的差等于或小于预设的时间差,然后在所述配置表中获取所述Hive外部表;
根据预设的外部表结构信息表,获取所述Hive外部表对应的用户信息;
监测所述用户登录,提示所述数据文件将在所述时间删除。
3.根据权利要求1或2所述的方法,其特征在于,获取删除所述Hive外部表对应的数据文件的时间之前,还包括:
在所述的外部表结构信息表中,标记所述Hive外部表已经删除。
4.根据权利要求3所述的方法,其特征在于,还包括:
监控所述外部表结构信息表,确定标记已经删除的所述Hive外部表在所述配置表中没有删除对应数据文件的时间;
将默认删除时间和所述Hive外部表存储到所述配置表中。
5.根据权利要求1所述的方法,其特征在于,删除所述对应的数据文件之后,还包括:
删除所述预设外部表结构信息表中的所述Hive外部表信息和对应的数据文件信息。
6.一种文件清理的装置,其特征在于,包括:
外部表删除模块,用于删除Hive外部表;
判断模块,用于确定删除所述Hive外部表对应的数据文件;
数据文件删除模块,用于根据预设的外部表结构信息表,获取所述外部表对应的数据文件,以删除所述对应的数据文件;其中,所述的外部表结构信息表中存储Hive外部表信息与数据文件信息的映射关系;
所述判断模块,还用于:确定不删除所述Hive外部表对应的数据文件;
所述数据文件删除模块,还用于:获取删除所述Hive外部表对应的数据文件的时间,然后将所述时间和所述Hive外部表存储到配置表中;确认达到所述时间时,在所述配置表中获取所述Hive外部表;然后根据预设的外部表结构信息表,获取所述Hive外部表对应的数据文件,以删除所述对应的数据文件;其中,所述的外部表结构信息表中存储Hive外部表信息与数据文件信息的映射关系。
7.根据权利要求6所述的装置,其特征在于,所述外部表结构信息表中还存储Hive外部表信息与用户信息的映射关系;
所述数据文件删除模块确认达到所述时间之前,还用于:
确定当前时间与删除数据文件的时间的差等于或小于预设的时间差,然后在所述配置表中获取所述Hive外部表;根据预设的外部表结构信息表,获取所述Hive外部表对应的用户信息;监测所述用户登录,提示所述数据文件将在所述时间删除。
8.根据权利要求6或7所述的装置,其特征在于,所述数据文件删除模块获取删除所述Hive外部表对应的数据文件的时间之前,还用于:
在所述的外部表结构信息表中,标记所述Hive外部表已经删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710605799.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种流数据处理方法和装置
- 下一篇:一种文件夹命名的方法及终端