[发明专利]一种重复文件检测方法、终端和服务器有效
申请号: | 201910380465.7 | 申请日: | 2019-05-08 |
公开(公告)号: | CN110096483B | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 李春平;杨鹏飞 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174;G06F16/13;G06F16/61;G06F16/71 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 李欣;马敬 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 重复 文件 检测 方法 终端 服务器 | ||
本发明实施例提供了一种重复文件检测方法、终端和服务器,方法包括:在向服务器发送用户需要上传至服务器的待处理文件时,终端获取待处理文件的大小,检测待处理文件的大小所属的目标数值区间,按照目标数值区间对应的文件hash值计算方式,计算待处理文件的hash值,并向服务器发送包含待处理文件的hash值的发送信息,服务器根据发送信息,确定待处文件是否为重复文件,并向终端发送响应结果,响应结果包含待处理文件为重复文件的信息或者待处理文件为非重复文件的信息。基于上述处理,服务器不需要等待待处理文件全部传送结束,就可以得到待处理文件的hash值,进而,服务器能够较早地确定待处理文件是否为重复文件。
技术领域
本发明涉及计算机网络技术领域,特别是涉及一种重复文件检测方法、终端和服务器。
背景技术
随着计算机网络技术的快速发展,用户不但可以很方便的通过视频终端在线观看自己喜欢的视频,还可以将自己拍摄或通过其他途径获取到的视频上传到视频服务器,以便将自己上传的视频分享给其他用户观看。随着服务器接收到越来越多用户上传的视频等文件,这些文件难免会重复。为了避免存储重复的文件,服务器需要对用户上传的文件进行逐一校验,以确定是否为重复的文件。
因此,为避免存储重复文件,现有技术在文件上传完成后,通过计算已上传文件的hash(哈希)值,并将该hash值与已存储文件的hash值进行比较,来判断该上传文件是否为重复文件。
然而,发明人在实现本发明的过程中发现,现有技术至少存在如下问题:现有技术通过计算已上传文件的hash值来判断其是否为重复文件的过程,不能及时检测用户上传的文件是否为重复文件。
发明内容
本发明实施例的目的在于提供一种重复文件检测方法、终端和服务器,能及时检测用户上传的文件是否为重复文件。具体技术方案如下:
第一方面,为了达到上述目的,本发明实施例公开了一种重复文件检测方法,所述方法包括:
终端获取用户需要上传至服务器的待处理文件;
所述终端在向所述服务器发送所述待处理文件时,获取所述待处理文件的大小;
所述终端检测所述待处理文件的大小所属的目标数值区间,其中,不同的数值区间分别对应不同的文件哈希hash值计算方式;
所述终端按照所述目标数值区间对应的文件hash值计算方式,计算所述待处理文件的hash值;
所述终端向所述服务器发送包含所述待处理文件的hash值的发送信息;
所述终端接收所述服务器针对所述发送信息的响应结果,其中,所述响应结果包含所述待处理文件为重复文件的信息或者所述待处理文件为非重复文件的信息。
可选的,所述终端按照所述目标数值区间对应的文件hash值计算方式,计算所述待处理文件的hash值,包括:
所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值;
计算包含所述待选hash值和所述待处理文件的大小的数据的hash值,将计算得到的hash值作为所述待处理文件的hash值。
可选的,所述目标数值区间为(0,A);所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值,包括:
所述终端计算所述待处理文件的全量hash值,并将所述全量hash值作为待选hash值。
可选的,所述目标数值区间为[A,B),其中,BA;所述终端按照所述目标数值区间对应的文件hash值计算方式,对所述待处理文件包含的数据进行处理,得到待选hash值,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910380465.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据分析方法和装置
- 下一篇:一种基于Revit的3D模型批量导出方法