[发明专利]一种改进网格环境中数据传输效率的方法

说明书

技术领域

本发明属于网格计算领域，具体涉及一种改进网格环境中数据传输效率的方法。

背景技术

网格是一个资源共享、协调工作的虚拟环境，能够充分吸纳各种资源，并可将它们转化为一种随处可得的、可靠的、标准的，同时还是经济的资源。网格计算很重要的作用就是有效利用各种资源，快速准确地进行大量数据计算。要把有效的时间用于实际计算上，就需要尽可能减少数据传输时间。

目前网格环境中，采用协同分配架构，利用网格中存在的多个备份的并发传输来解决这个问题。传统协同分配架构有三种策略来分配多个备份中的数据块，来提高网络传输的效率。分别是：

1)穷举法协同分配

通过将文件大小平均分配给每个连接实现，不考虑各个客户端-服务端连接的带宽差异。例如一个客户端与3个服务端连接，则每个服务端所分配文件大小都是1/3。

2)基于历史法协同分配

通过预测传输速度比来为每个连接分配相对应的文件大小。例如3个连接的传输性能比1∶2∶3，那么第一个服务端所分配文件大小就是1/6，第二个就是2/6，而第三个就是3/6。

3)保守负载均衡法协同分配

保守负载均衡法将要传输的文件分配成若干相同大小的文件分片，每个连接的服务器都分配一块文件分片进行带状传输。如果一个服务器完成了一块文件分片的传输，就为完成传输的服务器分配另一块文件分片直至整个文件下载结束。该协同分配流上的加载是动态调整的，因此传输快的服务器会传输相对较多的文件大小。

基于历史法的协同分配的关键在于对连接速度的预测，当然这是理想化的，当根据测试得到的平均传输率来分配各个副本的传输数据量时，总会存在各种风险使得传输的速度突然变快或者变慢。预测结果准确与否对传输性能影响较大，这种策略中的负载分配过程是在大量数据传输前完成的，并且一经分配便不再改变。和穷举法协同分配一样，其最大的缺点是不能适应网络性能的动态变化。

分片大小是影响保守负载均衡法算法性能优劣关键性的因素。分片过大会使得协同分配的精度减小效果下降，分片长度过小则又会导致连接频繁地请求分片造成性能的降低。所以，应当权衡两者选择一个适当的分片长度。

分片大小应满足以下几点：

1、由分片大小决定的数据块单元包包数应远远大于数据传输服务器的个数。

2、单元包应尽可能小：一方面能够使各数据传输服务器接近在同一时间结束，以提高服务器整体使用效率；另一方面，能更好地适应各数据传输服务器传输性能的变化。

3、单元包应相对大一些，以使传送一个单元包所用的时间远远大于传输单元包之间的空闲时间。

分片大小选择是难以把握的，另外，当其中一个服务器的传输速度变快时，它就会比其他的服务器传输更多的数据量，而传输性能是由传输效率最低的那一个服务器决定的。其实在这种情况下，影响还是比较小的，有效解决这种情况的方法是动态给这个服务器更大的数据量，以减轻其他服务器的负载。如果当其中一个服务器的传输速度变慢时，它就会比其他所有的服务器都要延时完成任务。由于前面所说的原因，恰恰是这个服务器决定整个传输的性能，因此相对前面一种情况它是致命的。

传统的协同分配策略并没有克服传输较快的服务器必须等待传输最慢服务器传输最后一块文件的缺点。在大多数情况下，这将浪费很多时间并最终影响传输的整体性能。

发明内容

本发明针对现有技术的不足，提供一种改进网格环境中数据传输效率的方法。

网格环境中网络传输的目标是要使传输性能达到最佳，也就是要使各个副本传输的时间达到最小化。要达到上述目标的一个方法就是使各个副本一直处于传输数据的状态，即每个副本从数据传输开始到传输结束其数据传输是不间断的，并且要求各个副本几乎同时结束数据传输。实现这个方法的途径就是根据将来副本与目的地之间的传输率来分配各个副本之间具体的传输数据量，以期待各个副本同时完成数据传输，获得最佳的传输性能。

本发明方法为一种动态调整策略，更进一步来说是一种改进的动态协同分配方法，它减少了等待时间，从而提高了整体传输性能。

本发明解决技术问题所采取的步骤为：

步骤(1)在初始阶段，给每个网格FTP服务器分配一块相同大小文件分片传输任务，文件分片大小由带宽和权值确定。

步骤(2)当有服务器完成当前文件分片传输任务时，该服务器又会被分配新的文件分片传输任务，如果传输失败，则会进行重新传送。