[发明专利]一种大规模集群分发文件的方法

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种大规模集群分发文件的方法。

背景技术

随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。集群之间需要频繁的传输文件，性能显得格外重要。目前最简单的一种传文件方式就是SCP命令。但是，该命令是单点对多点传输，不能突破网络的瓶颈，多点之间还是以单点最大的网络传输速度进行传输。因此，存在性能低下的问题。寻找一种有效的大规模集群之间快速分发文件的解决方案，显得额外重要。

目前不同的Linux之间拷贝文件常用的有3种方法：

1、使用ftp：其中一台Linux系统安装FTP Server，另一台使用FTP的Client程序来进行文件的拷贝。

2、使用samba服务：samba类似Windows文件copy的方式来操作，比较简洁方便。

3、使用SCP命令：利用scp命令来进行文件复制。

SCP是有Security的文件copy，基于ssh登录，操作起来比较方便。可以拷贝本地文件/文件夹到远程机器，也可以从远程机器拷贝文件/文件夹到本地。

例如，要把当前一个文件拷贝到远程另外一台主机上，可以如下命令。

scp/home/daisy/full.tar.gz root@172.16.1.100:/home/root

然后会提示你输入另外那台172.16.1.100主机的root用户的登录密码，接着就开始copy了。

如果想反过来操作，把文件从远程主机copy到当前系统，也很简单。

scp root@/full.tar.gz172.16.1.100:/home/root/full.tar.gz home/daisy/full.tar.gz

上述方法的缺陷是：在大集群里面使用SCP命令是一对多的批量传输，并不能解决传输的速度问题。例如，1台机器向100台机器传输100mb的文件，基于局域网传输，假设传输上限为10mb/s，使用SCP命令同时向100台机器传输文件。虽然SCP是并发传输的，但是传输的速度不能大于网络瓶颈，因此，该传输与单独传输的时间基本是一致的，或者更长久，因为线程之间需要竞争网络传输速度资源。那么向100台机器传输完毕，需要时间大约为100*(100/10)=1000s，即1000秒。

此外，并行处理中的文件传输，是一种从多源到多目的的传输，当前的研究重点都是如何提高传输的并行度，缩短传输时间。有些工作使用多文件副本实现源端并行，或者采用分片传输，增加文件副本数，提高源端并行度。但现有的研究并没有考虑到目的端并行，然而集群内部能够快速传输文件，多个目的节点可同时接收文件的不同分片，可实现目的端并行。对于传输路径，有些工作采用多跳路径分割的方法获得较好的路径；还有些工作采用多重路径和分片传输的方法实现单个源目的端的并行传输。另外，虽然是以批量传输请求的整体完成时间最小作为调度目的，但在实际的调度中，采用的是最小作业优先的调度方法，而并没有协调多个请求之间的带宽冲突，使得算法在系统带宽利用率方面存在一定不足，从而影响整个完成时间。

针对上述问题，支持多集群数据并行的On-demand文件传输算法提出了一个支持多集群数据并行的按需文件传输算法(0FT)。首先，OFT利用集群内部快速共享的特点，实现目的端的并行接收与组装。将目的节点为同一集群的传输请求合并成一个请求，将该请求分配给集群中的多个节点来分散传输负载。使用多跳路径分割优化传输路径时，对于单个源目的端，选出一条最优路径，最优路径的跳数加上一个可调范围值(如2)作为所有路径跳数的上限，在实现源目的端连通的基础上获得路径分割带来的性能改善。对多个请求间的路径冲突进行处理时，根据每个请求的传输负载按比例为其分配带宽，使得多个请求的传输时间尽可能相同，从而缩短批量请求的整体传输时间。但是本方法可能会存在资源竞争与死锁的问题。

为了克服现有技术的缺陷，本发明提出了一种大规模集群分发文件的方法，该方法基于SCP命令，根据节点数目计算传输节点序列，在单位时间内，SSH到节点上面，并行地点对点传输文件，在个单位时间内完成N个节点的传输。

发明内容

本发明为了解决现有技术中主控节点对工作节点发送文件，使用一对多发送，时间比较慢的缺点或不足，采用了主控节点、已接收文件的工作节点同时对未接收文件的工作节点发送文件的方法，从而实现了大规模集群快速分发文件的目的。