[发明专利]气象数据的预处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种气象数据的预处理方法、装置、计算机设备和存储介质。所述方法包括：读取出所获取的气象数据中的数据信息，数据信息包括多个气象参数变量；根据预先生成的气象参数关键变量字典，从多个气象参数变量中提取出气象参数关键变量；依次将所提取出的气象参数关键变量进行格式转换并保存；将气象参数关键变量输入至深度学习训练模型，对深度训练学习模型进行训练。采用本方法能够将转换数据格式后的气象数据关键变量文件可以被反复用于作为后续的深度学习训练的输入数据，从而为深度学习模型训练时读取气象数据节省了大量的时间，加快了深度学习模型训练时数据输入的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种气象数据的预处理方法、装置、计算机设备和存储介质。

背景技术

伴随气象行业的持续发展，气象数据的规模也日益庞大。气象数据有多种数据格式，如WMO(World Meteorological Organization，世界气象组织)开发了一种用于交换和存储规则分布数据的二进制文件格式GRIB。最初GRIB表示“二进制格点”(GRIddedBinary)，后来扩展为“二进制的通用规则分布信息”(General Regularly-distributedInformation in Binary form)。

气象数据被编码压缩传输，使用时则需要解码。目前市面上已有较多处理气象数据的工具，如GRIB API,是ECMWF(European Centre for Medium-Range WeatherForecasts，欧洲中期天气预报中心)开发的用于编解码GRIB的工具，提供C++、Fortran、Python等语言的API(Application Programming Interface，应用程序接口)，并提供一系列命令行工具。然而，在使用现有工具读取单个气象数据时，每次读取数据的消耗时间偏长。对于训练深度学习模型，如果其输入需要大量的历史气象数据作为支撑，那么单独消耗在气象数据读取这一模块的时间将被多次放大，从而影响深度学习模型训练时数据的输入效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够加快深度学习模型训练效率的气象数据的预处理方法、装置、计算机设备和存储介质。

为了实现上述目的，一方面，本申请实施例提供了一种气象数据的预处理方法，所述方法包括：

读取出所获取的气象数据中的数据信息，数据信息包括多个气象参数变量；

根据预先生成的气象参数关键变量字典，从多个气象参数变量中提取出气象参数关键变量；

依次将所提取出的气象参数关键变量进行格式转换并保存；

将气象参数关键变量输入至深度学习训练模型，对深度训练学习模型进行训练。

在其中一个实施例中，依次将所提取出的气象参数关键变量进行格式转换并保存，包括：

依次将所提取出的气象参数关键变量写入HDF5文件并保存，HDF5文件用于存储和操作所提取的多个气象参数关键变量，在对深度学习模型进行训练时用于直接被调用。

在其中一个实施例中，气象参数关键变量字典的生成方式，包括：

根据训练深度学习模型所需的气象参数关键变量设置的关键字，以及与关键字对应的值生成气象参数关键变量字典，其中，

与关键字对应的值中包含气象参数关键变量的变量名和对应的高度信息，高度信息包括高度数据和高度类型。

在其中一个实施例中，气象参数关键变量字典中与气象参数关键变量对应的高度信息包括多个，用于在从气象数据中提取气象参数关键变量时，获取对应的多个不同高度的气象数据。

在其中一个实施例中，气象数据的数据格式为计算机无关的压缩的二进制编码GRIB。