[发明专利]一种海洋观测数据格点化多级并行加速计算方法与系统

说明书

本发明公开了一种海洋观测数据格点化多级并行加速计算方法与系统。本发明基于MPI并行架构的粗粒度并行实现气候态模型、海洋深度数据之间的并行计算加速，主要包含数据的IO并行读取、气候态模型数据的计算和分发、格点化数据的同步等；基于OpenMP并行架构的细粒并行计算实现节点内部CPU核之间的算法层面的并行计算，主要包含网格中各格点的数据格点化；对于格点内数据的格点化计算，则通过调整数据结构及在内存中的分布，使用SIMD加速具体的计算操作。本发明可以依据具体的硬件资源灵活配置并行规模，实现算力的最大化利用，能够为长时序完整可靠的海洋格点资料的构建提供算力支撑。

技术领域

本发明属于并行计算领域、海洋观测和数据处理的交叉领域，具体涉及一种利用信息传递接口(Message Passing Interface，简称MPI)、共享存储并行编程(Open Multi-Processing，简称OpenMP)和单指令流多数据流(Single Instruction Multiple Data，简称SIMD)指令集对海洋观测数据格点化的多级并行加速计算方法与系统。

背景技术

长时序完整可靠的海洋温盐格点资料是进行气候变化和海洋科学研究的基础。海洋观测质量参差不齐，受限于观测手段和观测成本，稀疏性和不均匀覆盖是海洋现场观测数据的一个主要特点。这些特征极大的限制了物理海洋理论和技术的发展，是目前海洋科学研究的难点。

为了利用稀疏数据重建出具有完整时空覆盖的格点数据，并解决国际主流传统基于统计或动力学方法中的问题，课题成员前期工作提出的集合最优插值方法。新方法在多方面都要优于目前国际上格点优化方法，因而在近5年得到了广泛的应用和认可，成为了具有重要国际影响的核心技术。

然而该方法是基于串行计算设计的，以intel i5-10650KF，48GB RAM计算环境为例，计算1960年1月1°×1°分辨率全球海平面热含量数据格点化计算需3185.7秒，构建1000多个月的完整格点温度数据集则需要34.7天；当分辨率调整为0.5度时，计算耗时成指数倍增长，单月数据的计算耗时增长为4个小时，总数据的计算耗时4个多月。对于1度分辨率的全球观测数据而言，每个格点表征的空间范围大约为7.87万平方公里，仅使用单个物理数据来表征如此大范围的物理变化显然是不够的，因此理论上来说，格点化数据时分辨率越高，网格的每个格点划分越小，计算出的数据表征的物理范围就越精确。此时，很明显这种基于传统串行计算设计的高耗时、低效率的格点化计算方法已经严重制约该方法进一步推广，甚至已经成为大范围、高质量、长时序完整可靠的海洋观测格点数据集构建的瓶颈。

发明内容

本发明的目的是提供一种多级并行模型对海洋观测数据格点化计算过程进行并行加速的方法和系统，以充分利用多计算节点、多核心处理器的计算集群算力，解决传统串行计算程序在对海洋数据格点化时计算效率低下的问题。

本发明基于MPI+OpenMP混合架构搭建，通过实现对于数据格点化过程的多级混合并行加速达到提高计算效率的效果。具体包括基于MPI并行架构的粗粒度并行实现气候态模型、海洋深度数据之间的并行计算加速，主要包含数据的IO并行读取、气候态模型数据的计算和分发、格点化数据的同步等；基于OpenMP并行架构的细粒并行计算实现节点内部CPU核之间的算法层面的并行计算，主要包含网格中各格点的数据格点化；对于格点内数据的格点化计算，则通过调整数据结构及在内存中的分布，使用SIMD加速具体的计算操作。本发明可以依据具体的硬件资源灵活配置并行规模，实现算力的最大化利用，能够为长时序完整可靠的海洋格点资料的构建提供算力支撑。本发明具体包含以下步骤：

S1：数据并行读取：格点化方法利用海洋观测数据、海洋观测误差数据、国际耦合模式比较计划的(Coupled Model Intercomparison Project，简称CMIP)模式数据、全球海洋陆地边界地形数据以及全球海洋平均观测数据重构出具有完整空间覆盖的海洋观测格点数据集；对于大数据量的输入数据，采用并行IO的方式，提升读取效率。