[发明专利]一种大规模数据处理计算加速系统

权利要求书

1.一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，其特征在于；包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，所述并行计算节点的数量为n个；

所述共享数据源存储节点主要用于存储不同批次巡天项目数据源，也即被加速处理的数据原文件，本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件，其文件格式通常是射电天文学界公认的FITS(Flexible Image Transport System)，它专门为在不同平台之间交换数据而设计；

所述任务控制节点用于构建计算任务队列，接收各并行计算节点发送的注册和任务请求，依据请求参数给各所述并行计算节点分配计算任务，同时，回收各所述并行计算节点计算后的结果数据，最后，将各所述并行计算节点的结构化结果数据写入数据库节点存储，而将非结构化结果数据写入非结构化数据存储节点存储；

所述并行计算节点用于根据节点计算能力，并行化地向任务控制节点发送注册信息，向任务控制节点请求计算任务，更加请求到的任务参数，直接从所述共享数据源存储节点获取相应的数据原文件(FITS数据文件)进行计算，并将计算后的结果数据发送给所述任务控制节点，同时，并行计算节点的数量和单个节点的硬件配置是可弹性伸缩扩展的，即根据用户资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；

所述数据库节点用于记录共享数据源节点中数据原文件(FITS文件)的元数据信息、并行计算节点数据、任务跟踪进度数据及脉冲星候选体数据；

所述非结构化数据存储节点用于存储非结构化数据，包括脉冲星候选体图片及计算过程中间数据文本；

所述WEB节点用于链接数据库节点和非结构化数据存储节点，将结果数据库中数据、非结构化数据进行可视化展示，方便科研人员图形通过图形界面检索、分析和分享计算数据结果。

2.如权利要求1所述的一种大规模数据处理计算加速系统，其特征在于：所述任务控制节点根据计算业务需求，构建计算任务队列，接收各并行计算节点的注册和计算任务请求，并将注册信息保存至数据库，接收并行计算节点的计算任务请求，依据请求信息给各所述并行计算节点分配计算任务，回收各所述并行计算节点计算后的结果数据，并将结果数据中结构化结果数据存入数据库节点，将非结构化数据存入非结构化数据存储节点。

3.如权利要求2所述的一种大规模数据处理计算加速系统，其特征在于：所述任务控制节点包括至少一个中央处理器(Central Processing Unit，简称CPU)或图形处理器(Graphics Processing Unit，简称GPU)硬件设备及内存(Memory)设备；

所述中央处理器CPU硬件设备用于接收各所述并行计算节点的注册及计算任务请求，包括根据各所述并行计算节点的计算任务请求，为其分配具体计算任务，还用于分别发送任务参数给各所述并行计算节点，所述任务参数包含各所述并行计算节点需要计算的所述数据原文件及文件地址信息；

所述图形处理器GPU硬件设备用于接收各所述并行计算节点计算后的结构化和非结构化结果，包括接收各所述计算节点内所有GPU设备计算后的结果，将计算后的结果通知给所述任务控制节点内的其他GPU设备；

所述内存Memory设备用于接收和保存各计算节点返回的结构化和非结构化计算结果数据。