[发明专利]一种面向并行应用的容器通信方法和系统

说明书

本发明涉及一种面向并行应用的容器通信方法和系统，该方法包括：第一容器中的第一进程需要和第二容器中的第二进程进行通信且第一和第二容器处于同一个宿主机上的情况下，建立一个不同于基于TCP协议的第一信道的第二信道，第一容器将通信数据发送到第一容器和/或第二容器在宿主机上申请的共享内存区域并将通信数据的元数据通过第一信道发送给第二容器，在所述第二进程根据接收到的所述元数据确认接收所述通信数据的情况下，通过第二信道将所述通信数据传递给第二容器且通过第一信道将接收数据的确认消息反馈给第一进程。

技术领域

本发明涉及通信领域，尤其涉及一种面向并行应用的容器通信方法和系统。

背景技术

随着微型计算机处理器技术的飞速发展，过去十年间，处理器的计算能力按照“摩尔定律”所描述的速度在进行提高。目前，单台服务器能够提供的处理能够远超过去的服务器处理能力。而应用程序对计算的需求却没有增长得如此迅速，因此导致了现有的计算机处理能力普遍存在剩余的情况。为了进一步提高计算机处理资源的利用率，虚拟化技术被人们所提出。通过在同一个物理机上运行多个虚拟机，能够明显提高服务器的处理能力和资源利用率，同时也带来了在线迁移、动态部署、负载均衡等优势。

随着技术的不断发展，科研单位和企业对于高性能计算的需求量不断增长，而高性能计算所需计算资源却因为不同单位的需求差异巨大，很多用户都只有在进行实际高性能计算时才能确定具体的计算资源需求，且不同情况对于计算需求量也会有比较大的差异，而科研单位的自建高性能集群有时无法满足用户的资源需求。还有一些单位仅仅暂时需要高性能计算计算资源，自己构建高性能计算集群的成本高、周期长。针对以上两种典型情况，使用云计算服务商提供的高性能计算虚拟服务器或虚拟实例可以很好地解决资源临时短缺和集群构建成本高、周期长的问题。

然而，在使用虚拟化的物理机系统中，往往为了提高资源的利用率，在物理机上运行多台虚拟机，导致虚拟设备的数量远远超过物理机上资源的数量和能够承受的范围，导致了严重的资源过载现象。资源过载引起资源请求得不到及时响应的情况，直接导致高性能并行应用的计算速度受到影响。

众所周知，典型的高性能并行应用都采用了基于消息传递的编程模型MPI(Message Passing Interface)。传统物理机情况下，为了优化同一主机上的多个MPI进程效率，MPI库提供了Shared Memory和Cross Memory Attach两种进程消息传递通道来优化相同主机上不同进程间消息的传递效率。而在云计算环境下，运行在同一宿主机上面的虚拟机或容器上面的不同MPI进程之间只能采用Socket即网络通信的方式进行消息传递，进程之间无法使用MPI库中提供的Shared Memory和Cross Memory Attach通道进行快速的进程通信，使得消息传递的速度和效率明显降低，严重影响了高性能并行应用的计算速度。

针对高性能并行应用在容器虚拟化环境中存在的进程通信效率低的问题，有研究者提出了修改MPI库，并让MPI库能够检测到处于同一主机上相邻容器的方法，该方法能够将默认情况下不同容器MPI进程间的通信方式从网络通道修改为采用Shared Memory通信的模式，在一定程度上提高了高性能并行应用的计算效率。但是该方法需要修改现有的MPI部署环境，且修改MPI环境之后，还需要修改MPI应用的源代码才能支持这种优化。与此同时，若其他未采用MPI编程模型的高性能并行应用的通信效率将得不到任何优化，即该方法仅限于MPI编程模型，不能提高在容器中运行的其他应用例如事务型应用的通信效率。

有研究者提出了一种基于共享内存的容器通信方法，该方法提供了一种基于客户服务器模式的通信框架，使用该框架，应用必须修改应用的源代码，并且基于该通信框架进行编译，才能使用共享内存的方式进行容器通信，尽管该方式能够在一定程度上提高了同主机的通信效率，但是该方法的兼容性和可操作性不强，且现有的代码很多，改动成本大，因此实用性不强。