[发明专利]一种基于大气辐射传输模型的数据处理方法、装置和系统

权利要求书

1.一种基于大气辐射传输模型的数据处理方法，其特征在于，包括：

获取大气辐射传输模型的多个输入文件；

将所述输入文件任务化，生成多个任务，并将多个所述任务动态分配至多个计算节点装置进行处理；

响应于所述计算节点装置针对所述任务的处理结果，根据所述处理结果生成所述大气辐射传输模型的输出文件。

2.根据权利要求1所述的基于大气辐射传输模型的数据处理方法，其特征在于，所述将所述输入文件任务化，生成多个任务，并将多个所述任务动态分配至多个计算节点装置进行处理包括：

当所述输入文件的数据量大于预设阈值时，对所述输入文件进行分割，得到多个输入子文件，将所述输入子文件任务化，生成多个子任务；

根据所述计算节点的处理能力，将多个所述子任务分配至多个所述计算节点装置进行处理。

3.根据权利要求1所述的基于大气辐射传输模型的数据处理方法，其特征在于，所述处理结果包括针对所述任务的计算结果以及计算完成标记信息；所述响应于所述计算节点装置针对所述任务的处理结果，根据所述处理结果生成所述大气辐射传输模型的输出文件包括：

根据所述计算完成标记信息生成模型计算进度信息；

当获取来自多个所述计算节点的针对所有所述任务的计算结果时，对所有所述计算结果进行合并处理，获得所述输出文件。

4.根据权利要求1所述的基于大气辐射传输模型的数据处理方法，其特征在于，还包括：

当获取所述输入文件和/或所述处理结果时，将所述输入文件和/或所述处理结果对应的任务信息写入本地日志文件；

当在获取所述输入文件的后续输入文件或者将所述后续输入文件对应的任务分配至所述计算节点装置的过程中发生运行错误时，根据所述本地日志文件重新获取所述后续输入文件或者将所述后续输入文件对应的任务分配至所述计算节点装置。

5.根据权利要求4所述的基于大气辐射传输模型的数据处理方法，其特征在于，还包括：

获取所述计算节点装置的运行状态；

当确认所述计算节点装置发生运行错误时，生成与所述计算节点装置对应的运行错误信息，响应于来自客户端的针对所述计算节点装置的状态查询请求，将所述运行错误信息发生至所述客户端。

6.根据权利要求3所述的基于大气辐射传输模型的数据处理方法，其特征在于，所述处理结果还包括针对所述输入文件的数据错误信息，其中，所述数据错误信息指示所述输入文件包括脏数据；还包括：

当获取所述数据错误信息时，生成与所述数据错误信息对应的可视化数据。

7.根据权利要求1至6任一项所述的基于大气辐射传输模型的数据处理方法，其特征在于，还包括：

将所述输入文件对应的任务与多个所述计算节点装置的对应关系生成可视化界面；

响应于来自客户端的针对所述输入文件对应的任务的操作请求，基于所述可视化界面，根据所述操作请求对不同所述计算节点装置分别对应的所述任务进行处理。

8.根据权利要求1所述的基于大气辐射传输模型的数据处理方法，其特征在于，与所述计算节点装置的通信基于Python中的Linux命令实现。

9.一种基于大气辐射传输模型的数据处理装置，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1至8任一项所述的基于大气辐射传输模型的数据处理方法。

10.一种基于大气辐射传输模型的数据处理系统，其特征在于，包括如权利要求9所述的基于大气辐射传输模型的数据处理装置以及多个计算节点装置，多个所述计算节点装置分别与所述基于大气辐射传输模型的数据处理装置通信连接。