[发明专利]一种海洋模式与资料同化的数据耦合方法、系统及介质

权利要求书

1.一种海洋模式与资料同化的数据耦合方法，其特征在于，将海洋数值模式模块和资料同化模块的数据交换与对接的步骤具体包括：将海洋数值模式模块产生的、描述特定物理量的、以分布式文件存储的多个分区文件，合并成可被资料同化模块所读取使用的全空间场文件。

2.根据权利要求1所述的海洋模式与资料同化的数据耦合方法，其特征在于，所述合并的步骤具体包括：依照每个分区文件的大小及预设的文件大小阈值，判断使用串行合并，还是并行合并，当单个分区文件大小小于文件大小阈值时，执行串行合并，否则执行并行合并。

3.根据权利要求2所述的海洋模式与资料同化的数据耦合方法，其特征在于，所述合并的步骤还包括协调调度多个分区文件的合并，具体包括以下步骤：

1）将所有分区文件按文件大小从大到小排序，形成一个待处理列表；

2）每次从待处理列表的头部和尾部各取一个分区文件，同时启动合并过程；

3）头部取出的分区文件采用并行合并，尾部取出的分区文件采用串行合并；

4）返回步骤2）直到待处理列表为空。

4.根据权利要求2或3所述的海洋模式与资料同化的数据耦合方法，其特征在于，所述并行合并具体包括以下步骤：

A1） 针对海洋数值模式模块生成的每个分区文件，分别建立每个分区文件与全空间场的映射关系；

A2）使用并行支撑库中的并行文件操作方式，让各个进程打开并读取各个分区文件，把分区文件内容保存到各个进程私有的缓冲区中；

A3）创建最终要合并的全空间场文件，并使用并行文件IO操作将各进程私有缓冲区内的分区文件内容写入相应部分，完成文件的并行写操作。

5.根据权利要求2或3所述的海洋模式与资料同化的数据耦合方法，其特征在于，所述串行合并具体包括以下步骤：

B1）针对海洋数值模式生成的每个分区文件，建立其与全空间场的映射关系；

B2）读取一个分区文件，按照映射关系写入合并后全空间场文件的相应位置；

B3） 重复步骤B2）直到所有每个分区文件都处理完毕。

6.根据权利要求1所述的海洋模式与资料同化的数据耦合方法，其特征在于，将海洋数值模式模块和资料同化模块的数据交换与对接的步骤还包括执行参数配置，具体包括：结合特定数据文件大小特征、超级计算机集群硬件平台的底层存储参数特征，给出数据IO性能最佳的配置参数，具体包括以下步骤：

C1）建立两个文件路径，分别用于存储大文件和小文件；

C2）根据每个分区文件大小及预设的文件大小阈值，决定若单个分区文件大小大于阈值，则作为大文件存储于大文件路径下，否则作为小文件存储于小文件路径下；

C3）针对小文件，采用单进程直接存取方式访问；

C4）针对大文件，优化数据IO的性能并优化数据访问的并行性，实现较大的聚合IO带宽。

7.根据权利要求1所述的海洋模式与资料同化的数据耦合方法，其特征在于，将海洋数值模式模块和资料同化模块的数据交换与对接的步骤还包括协调海洋数值模式模块、资料同化模块及海洋数值模式模块和资料同化模块的数据交换与对接的最佳调度的步骤，具体包括以下步骤：

D1）比较海洋数值模式模块和资料同化模块的并行运行时间，若海洋数值模式模块的并行运行时间大于资料同化模块的并行运行时间，则执行D2），否则执行D3）；

D2）减小资料同化模块使用的处理器数量，将空余出的处理器用于并发执行海洋数值模式模块和资料同化模块的数据交换与对接；

D3）分配适当数量的处理器，分别用于海洋数值模式模块的处理、资料同化模块的处理、海洋数值模式模块和资料同化模块的数据交换与对接的处理，并使海洋数值模式模块的处理、资料同化模块的处理、海洋数值模式模块和资料同化模块的数据交换与对接的处理形成流水线。