[发明专利]文件处理方法、装置、设备及介质有效
申请号: | 201910860733.5 | 申请日: | 2019-09-11 |
公开(公告)号: | CN112486918B | 公开(公告)日: | 2022-09-06 |
发明(设计)人: | 江萍;石岩;梁红伟 | 申请(专利权)人: | 浙江宇视科技有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/11;G06F16/182 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 310051 浙江省杭州市滨江区西兴街道江陵路*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 处理 方法 装置 设备 介质 | ||
1.一种文件处理方法,其特征在于,包括:
从待处理文件中读取待处理数据,其中所述待处理数据中文件空洞的取值为预设数值;
若所述待处理数据的取值均为所述预设数值,则从所述待处理文件中删除所述待处理数据,以得到新待处理文件;
比较所述待处理文件和所述新待处理文件的磁盘使用量,并根据比较结果进行文件修复。
2.根据权利要求1所述的方法,其特征在于,若所述待处理文件为副本文件,则从待处理文件中读取待处理数据,包括:
从所述待处理文件中读取固定逻辑长度的待处理数据,并记录起始读取位置和读取偏移量;
相应地,从所述待处理文件中删除所述待处理数据,包括:
依据所述起始读取位置和读取偏移量,从所述待处理文件中删除所述待处理数据。
3.根据权利要求1所述的方法,其特征在于,若所述待处理文件为经纠删码算法处理后得到的数据分片,则从待处理文件中读取待处理数据,包括:
从存储于至少两个存储节点中的待处理文件中读取至少两个待处理数据;
相应地,从所述待处理文件中删除所述待处理数据,包括:
控制所述至少两个存储节点从待处理文件中删除所述至少两个待处理数据,以得到至少两个新待处理文件。
4.根据权利要求3所述的方法,其特征在于,从存储于至少两个存储节点中的待处理文件中读取至少两个待处理数据,包括:
针对存储于至少两个存储节点中的每一个待处理文件,从所述待处理文件中读取属于同一条带的固定逻辑长度的待处理数据,并记录起始读取位置和读取偏移量;
相应地,控制所述至少两个存储节点从待处理文件中删除所述至少两个待处理数据,包括:
针对所述至少两个存储节点中的每一个存储节点,向所述存储节点发送数据删除通知,指示所述存储节点依据所述起始读取位置和读取偏移量,从所属的所述待处理文件中删除该属于同一条带的所述待处理数据。
5.根据权利要求1-4中任一项所述的方法,其特征在于,比较所述待处理文件和新待处理文件的磁盘使用量,并根据比较结果进行文件修复,包括:
若所述待处理文件和新待处理文件的磁盘使用量不同,则确定所述待处理数据不为文件空洞,并保留所述待处理数据,以进行文件修复;
若所述待处理文件和新待处理文件的磁盘使用量相同,则确定所述待处理数据为文件空洞,并删除所述待处理数据。
6.根据权利要求5所述的方法,其特征在于,若所述待处理文件为经纠删码算法处理后得到的数据分片,则根据比较结果进行文件修复,包括
将从至少两个存储节点的待处理文件中读取并保留的属于同一条带的所述待处理数据,添加到纠删码解码进程中,以对待处理文件已失效的存储节点进行文件修复。
7.一种文件处理装置,其特征在于,包括:
数据读取模块,用于从待处理文件中读取待处理数据,其中所述待处理数据中文件空洞的取值为预设数值;
文件修改模块,用于若所述待处理数据的取值均为所述预设数值,则从所述待处理文件中删除所述待处理数据,以得到新待处理文件;
文件比对模块,用于比较所述待处理文件和所述新待处理文件的磁盘使用量,并根据比较结果进行文件修复。
8.根据权利要求7所述的装置,其特征在于,若所述待处理文件为副本文件,数据读取模块包括:
从所述待处理文件中读取固定逻辑长度的待处理数据,并记录起始读取位置和读取偏移量;
相应地,文件修改模块包括:
依据所述起始读取位置和读取偏移量,从所述待处理文件中删除所述待处理数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江宇视科技有限公司,未经浙江宇视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910860733.5/1.html,转载请声明来源钻瓜专利网。