[发明专利]一种大规模数据处理计算加速系统

说明书

本发明涉及一种大规模数据处理计算加速系统，包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，上述各节点之间通过高速网络连接，所述并行计算机节点的数量为n个。本发明以大规模射电脉冲星巡天数据文件处理任务为例，对数据进行合理统筹规划，通过综合利用计算资源、GPU和CPU技术、内存计算技术、数据库技术、网络通信技术及WEB技术，并优化数据传输，以及利用内存计算技术来减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，将计算结果分别持久化至所述数据库节点和非结构化结果存储节点，有效解决类似大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行导致的问题。

技术领域

本发明涉及大规模数据处理技术领域，具体是一种大规模数据处理计算加速系统。

背景技术

近年来，随着计算科学、信息技术、计算机、生物学、射电天文等的高速发，各行各业采集到的数据量呈现几何指数增长。在射电天文领域，随着大型观测设备的筹划建造和投入使用，譬如：我国500米口径球面射电望远镜(Five-hundred-meter ApertureSpherical radio Telescope，简称FAST)的投入使用，即将进入19波束超宽带脉冲星巡天。另外，以及来自全球各国及组织共同筹划建设中的平方公里阵列射电望远镜(SquareKilometre Array,简称SKA)也将建造。就我国FAST而言，有望在实现脉冲星巡天在采样时间分辨率、频率分辨率、灵敏度等方面大幅提高。经模拟实验测算，采集巡天数据每日高达5TB至TB(Terabyte)，分析处理过程将伴随产生至少量级的新数据，数据集可达1PB(Petabyte)。不久的将来，SKA投入使用后，需处理的数据量甚至更加惊人，预计是FAST可采集数据量的数十倍。海量天文数据收集、存储和分析处理，将极大地推动着天文观测技术和理论研究的发展。

然而，脉冲星数据处理作为脉冲星科学后续物理特性研究的基础，脉冲星数据量从过去GB、TB量级跃升至现代PB量级，大规模脉冲星观测数据(PB量级)的分析处理已成为计算机、天文学界共同的挑战，已经制约着射电脉冲星科学的发展。因此，已经面临无法使用传统、常用的软件技术及工具在特定时间内完成获取、管理及处理的数据集合。传统模式无法满足多种类型的海量数据的处理，特别是深层次的分析处理而导致的无法满足脉冲星数据处理对自动化、智能化管理要求的问题。

发明内容

针对上述现有技术中的不足之处，本发明旨在提供一种应用于大规模射电脉冲星巡天项目的数据处理中，对大规模射电脉冲星巡天数据文件处理任务进行合理统筹规划，通过综合利用计算资源、GPU或CPU技术、内存计算技术、数据库技术、网络通信技术、WEB技术，并优化数据传输以及利用内存计算技术，减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，最后，将计算结果持久化至所述数据库节点和非结构化结果存储节点的大规模数据处理计算加速系统。有效解决大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行等的问题。

为解决上述技术问题，本发明提供的一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，所述并行计算节点的数量为n个；

所述共享数据源存储节点主要用于存储不同批次巡天数据源，也即被加速处理的数据原文件，本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件，其文件格式通常是射电天文学界公认的FITS(Flexible Image Transport System)，它专门为在不同平台之间交换数据而设计；