[发明专利]一种新能源气象数据管理方法及系统

说明书

本发明提供了一种新能源气象数据管理方法及系统，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。本发明提供的技术方案利用MPP的分布式存储能力，支撑数十PB级气象局量测数据；可以高效存储和快速处理海量时序大数据；基于MPP库内的Hash的Shared nothing架构上的散列存储，和MPP并行化处理能力，最大发挥了单节点内的智能索引和列式存储能力，大大加速对大表数据的扫描速度。

技术领域

本发明属于新能源气象领域、大数据领域，具体涉及一种新能源气象数据管理方法及系统。

背景技术

目前新能源功率预测是通过建立数学模型提前预知未来时段新能源功率波动规律的技术。由于无法整体把握体量巨大结构复杂的天气预报数据、气象观测数据、功率预测数据以及其他新能源场站的运行数据，新能源功率预测的研究思路多局限于针对单个风电场的独立时间断面上的预测，根据认知范围内理论上的物理意义，人为的对数据信息进行了分割和降维处理，忽略了风能资源及其它要素在时间尺度和空间尺度上的关联特性，以二维模式来描述分析多维空间上的数据关联，局限了对新能源功率的认知维度，从而导致预测精度提升空间非常有限。

数值天气预报是风电、光伏等新能源功率预测最主要的输入数据，据统计，新能源预测功率的误差中约有60％源自数值天气预报，扩大数值天气预报的预测范围和提高数值天气预报数据的精度是实现新能源功率预测精度提升的最有效手段。目前，面向新能源功率预测的中尺度数值预报模式的空间分辨率多为10km×10km，而典型的装机容量为5MW的风电场占地面积约为3km×3km，光伏电站的占地面积更小，对计算资源的需求随空间分辨率的增大呈指数级增长。

针对3km×3km的气象数据目前以分布式对象存储系统进行存储，气象数据通过预测模型会产生未来3天预测数据，由于这些数据量比较大，入库效率比较低，因此往往会被丢弃不进行存储，从而造成具有分析价值数据的流失。

发明内容

针对现有技术的不足，本发明提出一种新能源气象数据管理方法及系统，包括介绍MPP+时间序列数据库的总体架构，提出数据存储扩展性方案，为基础电力气象预测提供高效、精准的数据依据，有效支撑电网安全稳定运行。

一种新能源气象数据管理方法，包括：

获取气象数据；

将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；

建立针对所述节点的气象数据查询表。

进一步的，所述将所述获取的气象数据存储在大规模并行处理系统MPP的节点上，包括：

将所述获取的气象数据按照时间进行排序；

对排序后的数据进行平均分组；

将分组后的数据采用分布式存储的方式存储在MPP的节点上。

进一步的，所述建立针对所述节点的气象数据查询表，包括：

将所述节点内的数据进行区域排序，建立所述气象数据查询表。

进一步的，所述将所述节点内的数据进行区域排序，建立所述气象数据查询表前还包括：

若所述节点内存在数据，则将获取的气象数据建立临时表。

进一步的，还包括：利用所述气象数据查询表进行数据的查询，包括：

根据散列存储方法按时间字段进行查询；和/或

根据散列存储方法按区域编号进行查询。

进一步的，所述气象数据为PB级气象数据。

进一步的，所述节点采用Share-nothing架构。