[发明专利]基于UDP的数据传输方法及系统

说明书

本发明提供一种基于UDP的数据传输方法及系统，所述方法包括：基于UDP接收客户端发送的数据包，所述数据包中至少包含计算任务；将所述计算任务分解成多个子任务，并将每个子任务发送给不同的计算单元进行计算；接收每个子任务的计算结果，并将每个子任务的计算结果合并成最终结果；将所述最终结果发送给所述客户端。本发明提供的基于UDP的数据传输方法及系统，通过在UDP的基础上制定可靠的应用层协议，实现了数据传输的可靠性和容错性，并且通过上层的分布式计算层实现数据的分布式计算，具有很强的适应性，可以根据网络的情况来调整重传机制的参数，此外，应用层协议和分布式计算层的实现完全独立，大大加强了系统的可扩展性和可移植性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于UDP的数据传输方法及系统。

背景技术

分布式计算是当前大数据环境下非常普遍的计算方式，它集成了多计算机的资源优势，将大型的计算任务进行切割并分配给不同的子计算单元完成相应的子计算任务，最后将各个子计算结果进行合并得到最终的结果。分布式计算中一个非常重要的特性就是可靠性和容错性，即当某个计算单元失效时(不论是计算单元宕机还是网络不通)，分布式计算系统的协调管理服务器需要准确地检测到各个计算单元是否失效，若某个计算单元失效，则重新分配相应的子计算任务给其他的空闲且存活的计算单元。可靠性和容错性主要是通过可靠的网络协议的心跳数据包检测对端是否存活。

现有技术中，通常采用传输控制协议(Transmission Control Protocol，TCP)实现协调管理服务器和客户端之间的数据传输，以及协调管理服务器和计算单元之间的数据传输。而用户数据报协议(User Data Protocol，UDP)是非连接的协议，传输数据之前源端和终端不建立连接，UDP使用尽最大努力交付，即不保证可靠交付，因此主机不需要维持复杂的链接状态表，因此，分布式计算系统中通常不采用UDP进行数据传输。

但是由于TCP在传输的可靠性、流量控制和拥塞控制上面做了大量的工作，导致其过于复杂，且TCP及其参数往往集成在操作系统中，普通的用户难以根据不同的业务场景进行定制和修改。而且TCP的超时重传的特性，在大部分的操作系统中初始的重传间隔为1.5秒，采用的是指数退避算法，每次重传之后超时的时间增加一倍，一直到75秒，尝试9次后断开连接，即除非一方主动断开，否则因网络的问题导致的连接问题需要大约12分钟才能被真正检测到，这在网络环境相对较差的环境下会导致大量的带宽浪费。

发明内容

本发明的目的是提供一种基于UDP的数据传输方法及系统，解决了现有的分布式计算系统中集成的TCP过于复杂，并且难以针对不同的应用进行定制，以及数据传输时延大、效率低和带宽浪费严重的技术问题。

为了解决上述技术问题，一方面，本发明提供一种基于UDP的数据传输方法，包括：

基于UDP接收客户端发送的数据包，所述数据包中至少包含计算任务；

将所述计算任务分解成多个子任务，并将每个子任务发送给不同的计算单元进行计算；

接收每个子任务的计算结果，并将每个子任务的计算结果合并成最终结果；

将所述最终结果发送给所述客户端。

进一步地，所述基于UDP接收客户端发送的数据包，具体为：

基于UDP接收客户端发送的数据包，并获取所述客户端的地址；

相应地，所述将所述最终结果发送给所述客户端，具体为：

根据所述客户端的地址，将所述最终结果发送给所述客户端。

进一步地，所述基于UDP接收客户端发送的数据包之前，还包括：