[发明专利]一种重复文件检测方法、终端和服务器有效
申请号: | 201910380465.7 | 申请日: | 2019-05-08 |
公开(公告)号: | CN110096483B | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 李春平;杨鹏飞 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174;G06F16/13;G06F16/61;G06F16/71 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 李欣;马敬 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 重复 文件 检测 方法 终端 服务器 | ||
1.一种重复文件检测方法,其特征在于,所述方法包括:
终端获取用户需要上传至服务器的待处理文件;
所述终端在向所述服务器发送所述待处理文件时,获取所述待处理文件的大小;
所述终端检测所述待处理文件的大小所属的目标数值区间,其中,不同的数值区间分别对应不同的文件哈希hash值计算方式;
所述终端按照所述目标数值区间对应的文件hash值计算方式,计算所述待处理文件的hash值;
所述终端向所述服务器发送包含所述待处理文件的hash值和待处理文件的大小的发送信息;
所述终端接收所述服务器针对所述发送信息的响应结果,其中,所述响应结果包含所述待处理文件为重复文件的信息或者所述待处理文件为非重复文件的信息。
2.根据权利要求1所述的方法,其特征在于,所述终端按照所述目标数值区间对应的文件hash值计算方式,计算所述待处理文件的hash值,包括:
所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值;
计算包含所述待选hash值和所述待处理文件的大小的数据的hash值,将计算得到的hash值作为所述待处理文件的hash值。
3.根据权利要求2所述的方法,其特征在于,所述目标数值区间为(0,A);所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值,包括:
所述终端计算所述待处理文件的全量hash值,并将所述全量hash值作为待选hash值。
4.根据权利要求2或3所述的方法,其特征在于,所述目标数值区间为[A,B),其中,BA;所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值,包括:
所述终端计算包含所述待处理文件预设头部和预设尾部的数据的hash值,并将计算得到的hash值作为所述待选hash值。
5.根据权利要求4所述的方法,其特征在于,所述目标数值区间为[B,+∞);所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值,包括:
所述终端计算包含所述待处理文件预设头部、预设尾部和预设中部的数据hash值,并将计算得到的hash值作为所述待选hash值。
6.根据权利要求1所述的方法,其特征在于,所述发送信息还包括所述待处理文件的大小。
7.一种重复文件检查方法,其特征在于,所述方法包括:
服务器接收终端发送的包含待处理文件的hash值和待处理文件的大小的发送信息,其中,所述发送信息为所述终端在向所述服务器发送所述待处理文件时,向所述服务器发送的;所述hash值是按照以下步骤得到的:终端获取用户需要上传至服务器的待处理文件;所述终端在向所述服务器发送所述待处理文件时,获取所述待处理文件的大小;所述终端检测所述待处理文件的大小所属的目标数值区间,其中,不同的数值区间分别对应不同的文件哈希hash值计算方式;所述终端按照所述目标数值区间对应的文件hash值计算方式,计算所述待处理文件的hash值;
所述服务器根据所述发送信息,确定所述待处理文件是否为重复文件;
所述服务器向所述终端发送响应结果,其中,所述响应结果包含所述待处理文件为重复文件的信息或者所述待处理文件为非重复文件的信息。
8.根据权利要求7所述的方法,其特征在于,所述服务器根据所述发送信息,确定所述待处文件是否为重复文件,包括:
所述服务器检测本地的各存储文件的hash值中,是否存在与所述待处理文件的hash值相同的hash值;
如果本地的各存储文件的hash值中,存在与所述待处理文件的hash值相同的hash值,确定所述待处文件为重复文件;
如果本地的各存储文件的hash值中,不存在与所述待处理文件的hash值相同的hash值,确定所述待处理文件为非重复文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910380465.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据分析方法和装置
- 下一篇:一种基于Revit的3D模型批量导出方法