[发明专利]一种数据处理方法、装置、设备及介质

说明书

本发明公开了一种数据处理方法、装置、设备及介质，该方法的步骤包括：利用MPI启动N个处理进程；其中，N为大于1的整数，处理进程中预设有数据运算函数；获取原始数据，并分别将各原始数据分配至对应的目标处理进程；在各目标处理进程内，均采用OpenMP将原始数据划分为数据片段并分配至各预设线程，以通过数据运算函数对原始数据进行运算。本方法采用MPI与OpenMP配合工作的方式开辟多个处理进程，并且每一个进程中都通过OpenMP将该进程获取到的原始数据分配至线程中并行处理，以此提高了对海量数据进行运算处理的整体性能。此外，本发明还提供一种数据处理装置、设备及介质，有益效果同上所述。

技术领域

本发明涉及大数据领域，特别是涉及一种数据处理方法、装置、设备及介质。

背景技术

随着科技的不断发展，以及对于天文领域的探索不断加深，“平方公里阵列”天文望远镜(SKA，Square Kilometer Array)已经成为当前备受重视的项目。在该项目中，对于海量天文数据处理的性能是该项目能否有效推进的关键因素之一。

对于当前的天文图像数据处理工作而言，其能够实现的底层基础均是对海量图像数据的运算，对海量数据进行运算时往往需要产生较大的时间开销，进而通过运算获得到相应的运算结果，并且进行运算处理的数据量越大，其得到的运算结果越准确，进而天文图像数据处理的整体效果越好，最终生成的天文图像的清晰度以及可用性越高，因此在天文图像数据处理时，对海量数据的运算所能提供的性能支持，是决定天文图像数据处理能否更进一步的关键因素。

deConvolution程序是SKA项目中科学数据处理模块中的重要一环，是此模块中计算量最大的应用之一。在已有的ASKAP软件包中的deConvolution程序，采用单个线程通过OpenMP将运算进程收到的计算任务分配给多个线程进行处理，最终以线程协同的方式对原始数据进行运算处理，但是通过单独的进程实现对于原始数据的运算处理时，每个进程在单位时间内只能够对一定数量的原始数据进行运算处理，处理的数据量相对有限，因此无法充分的利用运算设备所能提供的硬件支持，进而在当前情况下，通过运算设备进行数据处理的整体性能相对较低。

由此可见，提供一种数据处理方法，以提高运算设备进行海量数据处理时的整体性能，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种数据处理方法、装置、设备及介质，以提高运算设备进行海量数据处理时的整体性能。

为解决上述技术问题，本发明提供一种数据处理方法，包括：

利用MPI启动N个处理进程；其中，N为大于1的整数，处理进程中预设有数据运算函数；

获取原始数据，并分别将各原始数据分配至对应的目标处理进程；

在各目标处理进程内，均采用OpenMP将原始数据划分为数据片段并分配至各预设线程，以通过数据运算函数对原始数据进行运算。

优选的，利用MPI启动N个处理进程具体为：

利用MPI启动N个deConvolution处理进程；

相应的，原始数据具体为原始数据数组；

相应的，数据运算函数具体包括findPeaks函数以及subtractPSF函数。

优选的，利用MPI启动N个deConvolution处理进程具体为：

利用MPI在搭载有Intel KNM处理器的运算设备中启动N个deConvolution处理进程。

优选的，findPeaks函数以及subtractPSF函数中均预设有#pragma simd指令；

相应的，在通过数据运算函数对原始数据数组进行运算前，该方法进一步包括：