[发明专利]数据处理方法

摘要

本公开提供一种数据处理方法，通过将HPC存储设备和分布式存储设备分离使用，当需要进行高性能并行计算时，HPC存储设备用于存储从分布式存储设备预先拷贝的待处理数据，负责为HPC机群各计算节点提供并行计算实时数据，各计算节点的计算结果数据转移到分布式存储设备，分布式存储设备用于存储终端上传的数据、计算结果数据和后续需要终端处理的数据。如此，能够降低HPC存储设备的访问量和并行数据计算时的网络带宽负担，减少HPC存储设备的容量需求，进而减少HPC存储设备的总拥有成本。此外，在需要进行高性能并行计算时无需终端单独上传数据或者下载计算结果数据，节省数据操作时间，便于计算结果数据的共享。

主权项

1.一种数据处理方法，其特征在于，应用于调度服务器，所述调度服务器分别与高性能计算HPC机群和分布式存储设备通信连接，所述HPC机群包括HPC存储设备和与所述HPC存储设备连接的多个计算节点，所述分布式存储设备用于存储终端上传的数据，所述HPC存储设备用于存储从所述分布式存储设备预先拷贝的待处理数据，所述方法包括：向所述HPC机群中与当前处理任务关联的目标计算节点发送计算作业，使所述目标计算节点从所述HPC存储设备中读取与该计算作业对应的待处理数据进行并行计算；在接收到所述目标计算节点计算得到的计算结果数据后，将所述计算结果数据发送给所述分布式存储设备进行存储。