[发明专利]云存储文件传输协议(CFTP)

说明书

技术领域

本发明涉及计算机网络领域，尤其涉及云计算、云存储系统中的文件传输。

背景技术

云计算(Cloud Computing)是分布式计算(Distributed Computing)、并行计算(ParallelComputing)、网格计算(Grid Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机技术和网络技术发展融合的产物。它通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助各种应用服务把强大的计算能力分布到终端用户手中。其基本原理是将计算任务通过网络分配给多台计算机执行。每台计算机称为云计算网络计算节点，执行计算任务的全部计算机整体称为云端，发出任务请求的计算机或者手机等其他设备称为终端。

云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

目前云计算的终端与云端的文件传输一般采用流行的FTP协议和基于TCP/IP的WEBDAV协议。FTP协议有速度快、稳定、支持断点续传等优点，缺点是缺乏对分布式存储的支持，不支持协同工作。WEBDAV协议可支持协同工作，缺点是传输不稳定、不支持断点续传，对超过100M的文件支持非常差。

国内目前网络存在不同运营商之间访问速度慢的问题，因此在传统互联网的文件传输中，还有一种经常使用的协议，点对点传输协议(P2P)，该协议优点是速度非常快，支持多服务器同时下载，缺点是独占终端大量网络带宽，导致其他网络服务质量变差，所以云计算和云存储一般不采用此协议。

本云储存传输协议(CFTP)不仅结合了FTP、TCP/IP、P2P协议的优点，同时加入了云端服务器计算功能，能在快速、稳定的传输，并且支持断点续传，支持云存储设备，支持协同工作，不占用终端其他网络服务带宽。和P2P协议相比，本协议是利用云端的计算能力和云存储节点及其缓存机制来达到速度最优，传输能得到有效的保障，而P2P协议则利用正在下载的终端来优化速度，速度和稳定性都得不到保障。本协议核心工作原理是：终端发送文件传输请求后，目标文件被拆分成很多数据块发送给云端存储节点缓存，云端服务器计算出最优路径，然后发送给终端。

发明内容

使用具有云计算或者云存储环境的云端与用户终端进行文件传输的一种方法，包括计算最优路径，并在路径所包含的计算节点或者云存储节点缓存数据，使用终端获得最佳下载和上传速度。本协议分服务器端和终端。

协议服务器端布署在云计算环境的云端，协议启动后，会主动检测和纪录所在云端的节点，并定时计算这些节点之间的网络速度和网络繁忙程度。

协议终端同时布署在终端设备和云端各节点上，在终端发出文件传输请求后，本协议会被启动，首先会测试终端之间、终端通过最优路径节点速度，计算文件大小获得两者的传送时间，如果终端之间的传输时间小于目标终端与终端通过最优路径节点的时间(比如局域网内文件传输)，则直接在终端之间传输文件，无需经过云端。如果终端之间的传输时间大于终端通过最优路径节点的传输时间，则启动云端缓存，并给文件传输加速。

当云端节点之间互相传输文件，则把文件源节点和目标节点试为两个终端。

文件传输前，首先文件源终端会通过CRC算法计算文件唯一识别码，并将识别码发送给目标终端，目标终端会在文件传输完成后再次计算唯一识别码，并核对文件是否正确。

文件在传输过程中是分块传输，每个文件数据块还会拆分成更多的数据包进行传输，不同的节点和终端均可以同时下载不同的或者相同的文件数据块，而每个节点服务器的文件数据块是根据网络传输速度和网络带宽空闲状况来分配的，目标终端最终获得所有的数据块，并将所有的数据块合并成目标文件。

文件数据块中的第一个数据包，包含整个文件唯一识别码，分块文件数据大小，文件数据块的位置编号，上一个文件块的唯一识别码和本文件块唯一识别码，这些信息用于某个节点接收完文件数据块后合成文件缓存文件，并识别这些文件数据块是否被改动，确保文件安全。