[发明专利]一种基于Spark的网格水文模型分布式计算方法

权利要求书

1.一种基于Spark的网格水文模型分布式计算方法，其特征在于，包括如下步骤：

(1)采用netCDF数据格式描述模型参数，建立参数文件PFile；

(2)采用XML描述模型构件及其依赖关系，建立模型描述文件MFile；

(3)基于Spark的模型构件调度和计算模型GridCSC分析模型描述文件MFile，根据模型计算构件之间的依赖关系、网格依赖关系以及相应的模型参数，进行模型的分布式计算，其步骤包括：

(3.1)从MFile获取模型构件信息以及构件之间的依赖关系，根据计算构件之间的依赖关系确定构件的计算顺序图；

(3.2)循环对所有同时计算的构件进行并行计算，每次循环计算没有任何前置依赖的构件，直到所有构件计算完毕；若构件a的前置构件已经计算时，则认为构件a没有前置依赖；

(3.3)构件计算时，如果该构件中的网格是独立的，则进行独立网格计算，如果待计算的网格之间具有依赖关系，则采用依赖网格计算，其步骤包括：

(3.3.1)通过“流域网格依赖关系”参数信息得到网格之间的依赖关系；

(3.3.2)根据网格依赖关系通过动态数据划分方法进行网格计算任务划分，确定当前可计算的网格中分配到每个Worker上的待计算网格；

(3.3.3)Master节点将计算网格分配给对应的Worker节点，Master节点从参数文件PFile中或RDD中解析出计算所需参数，根据分区结果将网格参数传输给对应计算节点，Worker节点调用构件计算接口，进行网格计算；

(3.3.4)参数聚合构件聚合各Worker节点的计算结果，形成构件计算结果的RDD存储；

(3.3.5)判断网格是否计算完毕，若没有计算完，则删除已完成计算网格，更新未计算网格对应的上游网格信息，然后转到(3.3.2)；

(3.4)构件计算的结果通过处于Master的参数聚合构件聚合成RDD结构，并通过广播传递给下一个依赖的构件；

(4)参数聚合构件在Master节点中聚合每个构件计算的RDD结果，并通过广播发送给各Worker节点，供后继构件计算使用；

(5)计算完毕后，参数聚合构件采用netCDF格式输出各构件的计算结果。

2.根据权利要求1所述的一种基于Spark的网格水文模型分布式计算方法，其特征在于，所述步骤(1)中进行参数数据描述时，描述的参数包括：

模型参数：模型参数是指模型在执行时所需要的相关系数、常量；

流域下垫面参数：流域下垫面参数是描述流域下垫特征信息；包括流域高程、流域水系、流域网格依赖关系、植被覆盖、土质类型；

流域历史降雨和水文数据：流域历史降雨和水文数据是已经监测的流域降雨、流量水位数据、蒸散发数据以及土壤含水量数据；

流域实时、未来降雨参数：流域实时、未来降雨是从其他来源获取的流域当前时刻以及未来降雨的数据，用于模型的预报。

3.根据权利要求1所述的一种基于Spark的网格水文模型分布式计算方法，其特征在于，所述步骤(1)中进行参数数据描述时，描述规范包括：

坐标系统、时间系统以及参属性的描述遵守netCDF-CF-1.6即Climate and Forecastconvension 1.6版本的约束；对每个参数的描述包括：参数名称、参数标识、参数类型、参数值、参数说明五方面；其中，流域下垫面参数，流域历史降雨、水文数据，流域实时和未来降雨数据的描述采用多维向量的网格化进行描述；

网格化参数描述时，坐标系统采用经纬度坐标，定义坐标变量lon、lat分别标识经度和纬度，单位即untis属性分别为degree_east和degree_north；取值为float类型；时间系统通过时间坐标变量的untis属性设置起始时间，通过时间坐标变量的取值确定每个数据的时间点。