[发明专利]一种数据处理方法、装置及超算系统

说明书

本发明公开了一种数据处理方法、装置及超算系统包括：在多个维度上将预设空间内的数据平均切分，每个维度切分为F个单元，确定每个单元与计算节点的映射关系；并将每个单元内的数据点存储到相对应的计算节点上；在进行任意一个维度的空间变换域之前，将目标维度上坐标连续的F个计算节点作为一组；针对任意一组计算节点，将该组内的M^n‑1个计算任务平均分配给该组内的F个计算节点；每个计算任务表示对一组计算节点内在目标维度上连续的N个数据点进行空间变换域运算；基于为每个计算节点分配的计算任务，各计算节点之间传输进行空间变换域运算所需的数据点，并执行空间变换域运算。基于此，大大降低了数据传输量，提升了数据处理的效率。

技术领域

本发明涉及分子动力徐学领域，尤其涉及一种数据处理方法、装置及超 算系统。

背景技术

在分子动力学模拟中，将待测体系放入一个物理空间立方体中，体系中 的粒子受多种作用影响而发生运动。其中静电作用是周期性边界条件下的 N-body问题，计算量巨大，成为限制分子动力学模拟计算速度的重要因素。 针对静电作用计算，学术界和产业界发明了PPPM(Particle-Particle Particle-Mesh Method)，PME(Particle Mesh Ewald)，GSE(Gaussian Split Ewald) 等算法，都是利用FFT(Fast Fourier TransformAlgorithm)技术对静电作用计算 的改进。这些算法的发展推进了分子动力学模拟在大规模计算系统上的实现。

分子动力学中的静电作用是粒子在三维立体空间中的相互作用，所含的 FFT(Fast Fourier Transformation，即为快速傅氏变换)计算也是立体空间变 换域计算，需要依次完成各维度上的FFT计算。现有技术中通常采用大规模计 算系统实现上述提到的FFT运算，但是通常使用的大规模计算系统都是分布式 计算系统，每一维度FFT计算都由多个计算节点并行完成，在一个维度计算之 后，需要将FFT点从各计算节点全部传回主存储，主存储对数据重排完成维度 转换后，再次下发到各计算节点进行下一个维度的计算。这样的方案数据传 输量巨大，导致在大规模三维FFT计算中，数据通信成为影响整体计算效率的 瓶颈，这也是导致分子动力学模拟在常规超算系统上计算效率受限的重要因 素。

发明内容

有鉴于此，本发明实施例公开了一种数据处理方法，降低了大规模计算 系统在进行FFT运算的过程中的数传输量，提高了数据处理效率。

本发明实施例公开了一种数据处理方法，包括：

在多个维度上将预设空间内的数据平均切分，每个维度切分为F个单元， 并确定每个单元与计算节点的映射关系；每个单元在单个维度上包括M个数 据点，M＝N/F，N表示预设空间内一个维度上包含的数据点的数量，且F 为大于0的正整数，N为大于0的正整数；

基于每个单元与计算节点的映射关系，将每个单元内的数据点存储到相 对应的计算节点上；

在进行任意一个维度的空间变换域之前，将目标维度上坐标连续的F个 计算节点作为一组，并以此将所有的计算节点划分为F^n-1组；所述目标维度 为当前进行空间变换域运算的方向，n表示空间变换域运算包含的维度；

针对任意一组计算节点，将该组内的M^n-1个计算任务平均分配给该组内 的F个计算节点；每个计算任务表示对一组计算节点内在目标维度上连续的N 个数据点进行空间变换域运算；

基于对每个计算节点分配的计算任务，将参与目标维度的空间变换域运 算的数据点发送到相对应的计算节点；

每个计算节点基于被分配的计算任务和存储的计算节点进行空间变换域 运算。

可选的，F与实际参与空间变换域运算的计算节点的数量有关。