[发明专利]基于二进制的分布式数据下载方法、装置、设备及介质

说明书

本发明公开了一种基于二进制的分布式数据下载方法、装置、设备及介质，应用于云存储技术领域，用于解决用户在下载资源的时候突然中断、网络环境发生变化或者用户更换了设备导致之前下载的数据全部作废，又需要重新下载的问题。本发明提供的方法包括：将目标文件转换为二进制目标文件并存储在分布式集群中的服务器；将二进制目标文件分割为多个文件块并进行编号，然后存储在服务器的缓存器中；响应于客户端发送的包括所需要的二进制目标文件块的编号的下载请求，判断曾经发送过目标文件的服务器的缓存器中是否存储有对应编号的二进制目标文件块；将下载请求中所需的二进制目标文件块发送给客户端。

技术领域

本发明涉及云存储技术领域，尤其涉及一种基于二进制的分布式数据下载方法、装置、设备及介质。

背景技术

随着科技的发展和用户需求的不断提高，目前的文件越来越大，尤其是在在高清影视、大型电脑游戏以及大数据等的方面，文件动辄上百G，对于这方面的文件下载需求，往往采取分布式下载。分布式就是指数据可以不位于一个服务器上，而是分散到多个服务器。分布式有利于任务在整个计算机系统上进行分配与优化，克服了传统集中式系统会导致中心主机资源紧张与响应瓶颈的缺陷。通过将大量的数据存储服务器集合起来，在内部表现为多个存储服务器协同工作，共同承担数据存储的任务，将数据存储任务划分为多个子任务并行存储，从而减小了数据存储的时间，并增加数据安全性。

但是用户在下载资源的时候如果突然中断，服务器和客户端必须重新建立连接，从头开始将数据发送给客户端。此外，若网络环境发生变化或者用户更换了设备，则可能导致之前下载的数据将全部作废，又需要重新下载，严重影响用户使用体验。

发明内容

在本发明的一个方面，提供了一种基于二进制的分布式数据下载方法、装置、计算机设备及存储介质，以解决用户在下载资源的时候意外中断导致需要重新下载，从而造成下载效率低的问题。其中，基于二进制的分布式数据下载方法具体包括：

接收到客户端发送的下载请求时，根据所述下载请求中获取二进制目标文件块的编号；

根据所述编号获取至少一台临时服务器；

判断所述临时服务器的缓存器中是否存储有所述编号对应的所述二进制目标文件块；

若在所述缓存器中未找到所述二进制目标文件块，则选取所述分布式集群中负载最低的服务器，得到目标服务器；

从所述目标服务器的存储器中提取所述二进制目标文件块；

将提取的所述二进制目标文件块缓存到所述目标服务器的缓存器中，并从所述目标服务器的缓存器中提取所述二进制目标文件块；

将所述二进制目标文件块发送给所述客户端。

在本发明的另一个方面，还提供了一种基于二进制的分布式数据下载系统,包括分布式集群以及客户端，

所述分布式集群执行以下步骤：

接收到客户端发送的下载请求时，根据所述下载请求中获取二进制目标文件块的编号；

根据所述编号获取至少一台临时服务器；

判断所述临时服务器的缓存器中是否存储有所述编号对应的所述二进制目标文件块；

若在所述缓存器中未找到所述二进制目标文件块，则选取所述分布式集群中负载最低的服务器，得到目标服务器；

从所述目标服务器的存储器中提取所述二进制目标文件块；

将提取的所述二进制目标文件块缓存到所述目标服务器的缓存器中，并从所述目标服务器的缓存器中提取所述二进制目标文件块；

将所述二进制目标文件块发送给所述客户端。

所述客户端执行以下步骤：