[发明专利]一种用于射电天文数据的数据处理方法及装置

说明书

技术领域

本发明属于计算机领域，尤其涉及一种用于射电天文数据的数据处理方法及装置。

背景技术

国际天文项目“平方公里阵列”天文望远镜(SKA,Square Kilometer Array)。此项目旨在建造世界最大综合孔径射电天文望远镜，拥有3000个直径15米抛物面蝶形天线和250组中频和低频孔径阵列，分布范围大于3000公里，光线收集区总面积约1平方公里，预计比目前最大的射电望远镜阵(JVLA)的灵敏度提高约50倍，比我国目前最大的单口径射电望远镜(FAST)的灵敏度提高约10000倍。根据计划，SKA每秒采集的数据量大于12Tb，需要几乎TOP500所有超级计算机的性能总和才能完成其数据量的处理工作。

deGridding是SKA中计算步骤最复杂、耗时最多的数据处理环节，整个项目中接近30％的数据需要通过该软件进行处理。degridding计算核心包括三个计算循环，最外层循环是dind计算循环，计算量为nChan×nSamples，其中nSamples为数据样本数，nChan为光谱通道数；中间循环是suppv计算循环，计算量为卷积核的X(/Y)轴的长度；最内层循环suppu计算循环，计算量为卷积核的Y(/X)轴的长度。目前，deGridding的串行处理版本速度无法达到理想状态，因此，如能对deGridding进行高效优化，将大幅降低SKA项目数据处理环节计算平台方面的投资。

发明内容

本发明实施例提供一种用于射电天文数据的数据处理方法及装置，以解决上述问题。

本发明实施例提供一种用于射电天文数据的数据处理方法。所述数据处理方法包括最外层循环处理过程、中间层循环处理过程和最内层循环处理过程，还包括以下步骤：将所述最外层循环处理过程中每次迭代的计算量分配给不同的线程；每个所述线程使用向量化指令。

本发明实施例还提供一种用于射电天文数据的数据处理装置，用于射电天文数据的数据处理，所述数据处理包括最外层循环处理过程、中间层循环处理过程和最内层循环处理过程，所述数据处理装置包括：

数据分配单元，用于将所述最外层循环处理过程中每次迭代的计算量分配给计算单元中不同的线程；计算单元，所述计算单元中每个所述线程在计算时使用向量化指令。

本发明实施例通过多线程任务调度(schedule)的方法对循环中每次迭代的计算量进行分配，改善各个线程的计算负载的均衡性，通过simd指令和_mm_prefetch指令，使得核心计算部分向量化，并将参与计算的数据提前存储到缓存中，提高了从内存进行读写的效率，利用AVX512指令集和MCDRAM高速缓存极大提升了deGridding程序的计算能力，对deGridding进行了高效优化，大大提升了性能，实用性较强，适用范围较广。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的用于射电天文数据的数据处理方法处理流程图；

图2所示为本发明实施例1的向量化处理过程的抽象表示示意图；

图3所示为本发明实施例1的向量化操作具体实现示意图；

图4所示为本发明实施例2的用于射电天文数据的数据处理装置结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为本发明实施例1的用于射电天文数据的数据处理方法处理流程图，所述数据处理方法包括最外层循环处理过程、中间层循环处理过程和最内层循环处理过程，还包括以下步骤：

步骤102：将所述最外层循环处理过程中每次迭代的计算量分配给不同的线程；

步骤104：每个所述线程使用向量化指令。

在上述步骤102中，利用OpenMP并行构造的schedule子句将所述计算量分配给不同的线程；利用schedule中的动态调度dynamic对迭代计算进行动态调度。