[发明专利]一种面向MPI的Serverless并行计算方法及其系统

说明书

本发明公开了一种面向MPI的Serverless并行计算方法及其系统，其中方法包括：动态地址映射步骤，建立函数名与对应的网络地址之间的映射关系，并对Serverless并行计算平台的普通函数与并行函数统一编制；计算模型构建步骤，在该Serverless并行计算平台中构建并行函数管理运行时环境、并行函数地址访问机制、并行函数调度机制，并通过函数副本机制实现对并行计算模型的支持，将函数副本集合内的各函数与各并行计算进程建立对应关系，以利于并行计算进程的执行；及并行计算实现步骤，由该Serverless并行计算平台实现MPI并行计算进程。本发明解决Serverless环境下IP寻址问题、并行函数调用问题、差异化并行协作执行问题。

技术领域

本发明涉及并行计算及Serverless(无服务器计算)技术领域，特别是一种面向MPI的Serverless并行计算方法及其系统。

背景技术

随着多核处理器和云计算系统的广泛应用，并行计算已成为有效利用资源的重要手段。在分布式架构下，并行计算中的数据交换和任务的协调与合作可以通过消息传递实现。MPI(消息传递接口，Message Passing Interface)是目前最为通用的并行编程方式，也是分布式并行系统的主要编程环境。基于MPI的编程模型开发的应用涵盖了大多数HPC(高性能计算，High Performance Computing)的工作负载，这些负载需要运行在有MPI运行时环境的单机或分布式集群上。在传统的云基础设施(包括基础设施即服务IaaS)中已经可以成功部署并运行并行计算应用。相比于在传统集群上运行，通过利用云资源的弹性，应用可以从云环境下丰富的算力资源中获益，从而实现性能的提升。然而，虽然云计算将用户从物理基础设施管理中解脱出来，但留给他们的却是大量的虚拟资源需要管理，而目前云并没有解决分布式计算的所有挑战，比如当计算规模和数据量发生变化时，固定的资源分配方案就不能适应不断变化的负载需求，导致资源分配过度或分配不足，又如在云环境下用户需要手动维护集群资源管理器(如Slurm、Torque等)，应用的运维变得非常复杂，特别是对于容器化的工作负载。

近年来，无服务器计算(Serverless Computing)的出现可以一定程度上解决并行计算在传统云基础设施上运行所存在的问题。Serverless是一种新的云计算模式，旨在构建一种运行时无需管理服务器等基础设施的架构，其中的函数即服务(Function as aService,FaaS)是目前Serverless架构实现的一个重要手段。在云环境下，用户的传统方法是使用云供应商的IaaS来提供虚拟机(VM)，并以类似于内部集群的方式使用它；而在Serverless环境下，Serverless将云资源的完全弹性与最大限度简化的编程模型结合起来：用户只需对无状态函数进行编程，而云则承担起对这些函数的调用进行细粒度调度的责任。在易用性方面，Serverless使用户专注于业务逻辑，无需考虑基础设施如服务器、操作系统或文件系统、运行时甚至是容器管理，最大化实现零运维，降低了用户技术准入门槛。在性能方面，面对不同规模的并行计算，Serverless能够实现大量并行函数的高效编排和极致扩缩容，以提升应用的执行效率，并在即付即用的模式下，对不同并行度下对计算资源进行弹性分配，达到按需分配资源最大化资源利用率的目标。

现有技术存在的问题和缺点如下：

目前，Serverless仍然无法有效支持MPI并行计算的开展。由于面向MPI的并行编程模型有许多固有特征，比如基于MPI的进程间通信(Inter-Process Communication，IPC)是需要通过IP寻址实现，MPI并行进程的执行逻辑是同其身份相关而有差异化的，多节点的执行需要MPI运行时的支持等，而原生Serverless函数是动态生成且无状态的，没有网络地址可供寻址，函数副本之间是没有差异的，且不能同时执行等等限制，导致了现有Serverless技术并不能很好的适配传统的MPI应用。