[发明专利]一种大数据传输方法及系统

说明书

本发明公开了一种大数据传输方法及方法，包括以下步骤：发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；发送端接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。本发明结合了基于UDP和TCP数据传输的优势，能够在保证可靠传输的基础上，增强数据传输的实时性。

技术领域

本发明属于大数据传输技术领域，尤其涉及一种大数据传输方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着网络带宽时延产品(BDP)的增加，通常的TCP协议变的低效。这是因为他的AIMD(additive increase multiplicative decrease)算法完全减少了TCP拥塞窗口，但不能快速的恢复可用带宽。理论上的流量分析表明TCP在BDP增加到很高的时候比较容易受包损失攻击。另外，继承自TCP拥塞控制制的不公平的RTT也成为在分布式数据密集程式中的严重问题。拥有不同RTT的并发TCP流将不公平地分享带宽。尽管在小的BDP网络中使用通常的TCP实现来相对平等的共享带宽，但在拥有大量BDP的网络中，通常的基于TCP的程式就必须承受严重的不公平的问题。这个RTT基于的算法严重的限制了其在广域网分布式计算的效率，例如：internet上的网格计算。一直到今天，对标准的TCP的提高一直都不能在高BDP环境中效率和公平性方面达到满意的程度(特别是基于RTT的问题)。例如：TCP的修改，RFC1423(高性能扩展)，RFC2018(SACK)、RFC2582(NewReno)、RFC2883(D-SACK)、和RFC2988(RTO计算)都或多或少的提高了点效率，但最根本的AIMD算法没有解决。HS TCP(RFC 3649)通过根本上改变TCP拥塞控制算法来在高BDP网络中获得高带宽利用率，但公平性问题仍然存在。考虑到上面的背景，需要一种在高BDP网络支持高性能数据传输的传输协议。

现有的网闸数据传输对于数据的传输大多数只支持TCP或者UDP协议。TCP协议虽然能保证数据的可靠传输，但它存在以下几个缺点：(1)TCP的数据确认机制会导致发送方重复发送一些已经被对方接收的数据，降低了带宽的有效利用率；(2)TCP协议的超时重传机制严格遵守RRT公平性，即到了RRT时间才会重传丢失的数据，当RRT较大时，就会导致数据的实时性降低，这对于一些对实时性要求较高的应用(比如流媒体、网络游戏)是不能忍受的，并且还会导致带宽得不到充分利用；(3)在P2P传输领域，由于TCP的NAT穿透成功率极低，用TCP做P2P数据传输几乎不可行。而UDP协议在保证数据传输可靠性方面存在劣势。

发明内容

为克服上述现有技术的不足，本发明提供了一种大数据传输方法及系统。该方法结合了基于UDP和TCP数据传输的优势，能够在保证可靠传输的基础上，增强数据传输的实时性。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种大数据传输方法，包括以下步骤：

发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；

引入TCP协议的握手连接，发送端接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

引入TCP协议的数据校验，接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。