[发明专利]一种避免重复下载的方法和装置

说明书

本申请公开了一种避免重复下载的方法和装置。该方法为：下载待下载文件中的预设部分数据；对预设部分数据进行哈希计算获得第一哈希值；将第一哈希值与数据库中的哈希值进行比较，其中，数据库中预存有多个哈希值以及与多个哈希值对应的文件；当数据库中存在与第一哈希值相同的第二哈希值时，获取第二哈希值对应的文件作为下载结果；当数据库中不存在与第一哈希值相同的哈希值时，继续下载待下载文件的剩余部分数据。通过上述方法，解决了相关技术中无法有效避免重复下载的问题，进而达到了有效避免重复下载的效果。

技术领域

本申请涉及互联网领域，具体而言，涉及一种避免重复下载的方法和装置。

背景技术

当前，从网络上下载文件所用的文件下载协议主要包括HTTP、FTP、BT和ED2k等，上述文件下载协议中，除了单文件的BT和ED2k在下载前可以有一个与文件惟一对应的哈希值外，HTTP，FTP，多文件BT都没有形成一个标准，让客户端在下载时并得到文件的惟一哈希值。在离线下载应用中，为了节约资源，离线服务器会在下载之前，通常通过将待下载文件的哈希值与数据库中预存的哈希值比较来判断待下载的文件是否是已下载过的文件，若是则直接从数据库中调取该文件，进而节约下载资源。然而，由于下载之前，待下载文件本身没有与其对应的哈希值，且文件被不同形式分发时，如文件对应不同的下载链接或被打包进不同的BT种子中，则离线服务器很容易对该文件进行重复下载。

针对相关技术中无法有效避免重复下载的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种避免重复下载的方法和装置，以解决相关技术中无法有效避免重复下载的问题。

根据本申请的一个方面，提供了一种避免重复下载的方法。该方法包括：下载待下载文件中的预设部分数据；对预设部分数据进行哈希计算获得第一哈希值；将第一哈希值与数据库中的哈希值进行比较，其中，数据库中预存有多个哈希值以及与多个哈希值对应的文件；当数据库中存在与第一哈希值相同的第二哈希值时，获取第二哈希值对应的文件作为下载结果；当数据库中不存在与第一哈希值相同的哈希值时，继续下载待下载文件的剩余部分数据。

进一步地，预设部分数据为待下载文件中的多个预设位置中的预设大小的数据，对预设部分数据进行哈希计算获得第一哈希值包括：将待下载文件中的多个预设位置中的预设大小的数据以及待下载文件的大小数值进行拼接得到拼接数据；对拼接数据进行哈希计算获得第一哈希值。

进一步地，当数据库中不存在与第一哈希值相同的哈希值时，继续下载待下载文件的剩余部分数据之后，该方法还包括：将第一哈希值和待下载文件存入数据库中。

进一步地，在下载待下载文件中的预设部分数据之前，该方法还包括：当待下载文件的大小小于预设值时，直接下载整个待下载文件并结束下载。

根据本申请的另一方面，提供了一种避免重复下载的装置。该装置包括：第一下载单元，用于下载待下载文件中的预设部分数据；计算单元，用于对预设部分数据进行哈希计算获得第一哈希值；比较单元，用于将第一哈希值与数据库中的哈希值进行比较，其中，数据库中预存有多个哈希值以及与多个哈希值对应的文件；获取单元，用于当数据库中存在与第一哈希值相同的第二哈希值时，获取第二哈希值对应的文件作为下载结果；第二下载单元，用于当数据库中不存在与第一哈希值相同的哈希值时，继续下载待下载文件的剩余部分数据。

进一步地，预设部分数据为待下载文件中的多个预设位置中的预设大小的数据，计算单元包括：拼接模块，用于将待下载文件中的多个预设位置中的预设大小的数据以及待下载文件的大小数值进行拼接得到拼接数据；计算模块，用于对拼接数据进行哈希计算获得第一哈希值。

进一步地，该装置还包括：存入单元，用于在数据库中不存在与第一哈希值相同的哈希值时，继续下载待下载文件的剩余部分数据之后，将第一哈希值和待下载文件存入数据库中。