[发明专利]一种大规模数据处理计算加速系统

摘要

本发明涉及一种大规模数据处理计算加速系统，包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，上述各节点之间通过高速网络连接，所述并行计算机节点的数量为n个。本发明以大规模射电脉冲星巡天数据文件处理任务为例，对数据进行合理统筹规划，通过综合利用计算资源、GPU和CPU技术、内存计算技术、数据库技术、网络通信技术及WEB技术，并优化数据传输，以及利用内存计算技术来减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，将计算结果分别持久化至所述数据库节点和非结构化结果存储节点，有效解决类似大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行导致的问题。

主权项

1.一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，其特征在于；包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，所述并行计算节点的数量为n个；所述共享数据源存储节点主要用于存储不同批次巡天项目数据源，也即被加速处理的数据原文件，本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件，其文件格式通常是射电天文学界公认的FITS(Flexible Image Transport System)，它专门为在不同平台之间交换数据而设计；所述任务控制节点用于构建计算任务队列，接收各并行计算节点发送的注册和任务请求，依据请求参数给各所述并行计算节点分配计算任务，同时，回收各所述并行计算节点计算后的结果数据，最后，将各所述并行计算节点的结构化结果数据写入数据库节点存储，而将非结构化结果数据写入非结构化数据存储节点存储；所述并行计算节点用于根据节点计算能力，并行化地向任务控制节点发送注册信息，向任务控制节点请求计算任务，更加请求到的任务参数，直接从所述共享数据源存储节点获取相应的数据原文件(FITS数据文件)进行计算，并将计算后的结果数据发送给所述任务控制节点，同时，并行计算节点的数量和单个节点的硬件配置是可弹性伸缩扩展的，即根据用户资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；所述数据库节点用于记录共享数据源节点中数据原文件(FITS文件)的元数据信息、并行计算节点数据、任务跟踪进度数据及脉冲星候选体数据；所述非结构化数据存储节点用于存储非结构化数据，包括脉冲星候选体图片及计算过程中间数据文本；所述WEB节点用于链接数据库节点和非结构化数据存储节点，将结果数据库中数据、非结构化数据进行可视化展示，方便科研人员图形通过图形界面检索、分析和分享计算数据结果。