[发明专利]一种分布式文件传输服务方法

说明书

技术领域

在文件传输服务中，批量的文件上传以及下载服务并发进行的情况时有发生，同时，瞬发的批量文件上传以及下载服务在数量以及服务效率方面对文件传输服务构件有较高的要求。另外，某些特殊应用环境下，客户端端口号资源由于涉及信息安全等问题而不能显式获得，该发明旨在解决批量文件上传和下载同时进行时遇到的在数量以及效率方面的瓶颈问题，并解决某些特殊应用下客户端通信端口号不能显式获得而导致服务失败的问题。

背景技术

在文件传输服务中，文件传输服务构件提供的对文件批量上传、下载所能处理的数量以及效率有较高的要求，超出文件传输服务构件承受能力的工作任务将导致文件传输服务构件性能的下降甚至崩溃，而大批量的文件同时上传及下载服务场景在应用中时常发生，因此，文件传输服务构件必须能够高效的处理大批量的文件同时上传、下载服务。

目前各类文件传输服务大都采用文件集中管理的存储方式，文件的上传与下载都需向同一台服务器申请服务，由于服务端任务处理能力以及服务提供能力的有限性，大批量文件同时上传、下载必然导致服务端任务的堵塞，从而导致服务处理效率的下降或者服务提供失败，甚至导致服务端的崩溃。

目前的文件传输服务的网络通信协议大都依赖于TCP/IP协议，这种环境需要有明确的通信IP地址以及端口号，但在某些特殊应用环境下，客户端的通信端口号是无法显式获取的，或者是时常变更的，当前文件传输服务直接通过显式的IP地址以及端口号提供服务的方式，会导致服务效率的下降，甚至无法提供服务。

综上所述，集中式的文件管理方式将使文件传输服务效率降低，随着文件传输服务的瓶颈快速到来，为满足当今大数据时代批量文件传输服务的需求，文件传输服务必须提高服务效率、支持大批量的文件同时上传、下载服务；另外，为应对某些特殊环境应用，必须解决客户端通信端口号无法显式获取或端口号经常变更的问题，非显式端口获取及应变的传输服务有利于提高服务的安全性。在另外一些应用环境下，采用自定义的通信协议提供服务，支持多通信协议将有利于提高服务的环境适用性。

发明内容

本发明的目的是提供一种支持多通信协议的分布式文件传输服务方法，采用云服务的处理方式，分布式的提供文件上传以及下载服务，并解决在某些应用环境下无法显式获取客户端通信端口号而导致无法提供服务的问题。

本发明的目的是按以下方式实现的，采用一台中转服务器进行调度，采用多台服务器提供分布式文件服务，将任务量分配到多台资源服务器中，从而解决大批量文件同时上传、下载时在并发量以及服务效率方面的瓶颈问题，由于中转服务器只接收很小的指令信息，则中转服务器能够处理的并发量约为，带宽/每条指令大小＝中转服务器能够同时处理指令数量,实际文件服务将分发到集群的资源服务器中，实际文件传输服务中提高客户满意传输速率，由以前的10K/s提高到400k/s将不会影响中转服务器的任务并发量，增加集群中资源服务器的数量，将提高文件传输服务速率，同理，当一台中转服务器无法达到实际应用需要的并发量时，通过集群的方式代替单个中转服务器完成调度任务以及处理超大批量并发任务，这样达到某个特定满意度的并发量，其计算公式如下：

总并发量＝中转服务器数目*客户满意速率下单中转服务器的并发量

另外，TCP/IP协议发送100个字节左右大小的指令报文所用的时间Tcmd为微秒级，大小为4M的文件传输时间Tfile为几秒到几十秒，Tcmd<<Tfile，指令消息的发送所消耗的时间不会给文件传输服务的效率产生明显的影响；

分布式文件传输实现步骤如下：

1)客户端订阅接口

客户端订阅接口为客户提供文件传输服务的订阅请求接口，客户端通过订阅接口向服务端发送文件服务请求，并等待服务端回返的消息，从服务端回返消息中解析出为本次请求服务提供服务的服务方地址，客户端重新与该服务方直接建立通信并请求服务；

在TCP/IP协议下，客户端通过订阅接口向服务端申请建立socket连接，连接建立后，通过该连接向服务端发送文件传输服务请求，请求发送后，该连接将保持连接状态，直到客户端主动断开服务；

2)服务端中转服务

服务端中转服务运行在服务端中转服务器上，包括：一是，接收客户端的订阅请求并转发给服务端分布式处理服务；二是，接收服务端分布式处理服务对订阅请求服务返回的处理结果，并将该处理结果返回给该订阅请求的客户端；