[发明专利]用于雷达回波外推的循环神经网络预测法及记忆单元结构

说明书

技术领域

本发明涉及一种用于雷达回波外推的循环神经网络预测法及记忆单元结构，属于气象技术领域。

背景技术

雷达回波外推方法近年来取得了较大的进步，外推预报的准确性逐渐提高，但仍存在一些问题。临近天气预报中关键的2小时内天气预报主要依靠雷达回波外推，而目前的雷达回波外推算法，即使对于1小时以内的外推结果，也还有不小的误差，而对于1小时以上的外推预报，准确性下降很快。传统的基于形态学的回波外推方法，如单体质心法和交叉相关法，在回波稳定时表现较好，但对于回波变化较快的天气过程，预报准确率和预报时效大幅下降。光流法因为其良好的运动跟踪能力，在变化较快的强对流天气过程的外推预报中与传统的回波外推算法相比具有一定优势，但是雷达回波存在生消演变，无法满足光流法的不变性假设。雷达回波外推方法还需要进一步的探索和改进。与简单的交叉相关法相比，光流法对变化较大的强对流降水系统可以得到较好的整体运动趋势，具有明显的优越性。在强对流降水系统下，光流法可以替代交叉相关法。但使用光流法进行雷达回波外推仍存在模型误差，光流法要求遵循不变性假设，而雷达回波通常都存在一定程度的生消演变，这种反射率因子不守恒的情况将导致外推误差的产生，对移速较快的回波的外推误差也较大。

RNN（Recurrent Neural Network, RNN）的一个重要优势是它能通过历史信息得到对应的输出序列。但是标准的RNN可以使用的历史信息范围是受到限制的，这主要是因为标准的RNN模型在训练的梯度下降过程中，新的输入覆盖了隐藏层的输出，使得离当前时间点越远的输入对权值的变化能起到的影响也越小，更加倾向于按照序列结尾处的权值的方向更新，在实践中这种历史输入的影响随时间推进而逐渐消失的现象被称之为梯度消失问题（vanishing gradient problem）。梯度消失问题使得RNN在长序列中的训练变得困难，训练的结果往往偏向于新的信息，不具有较长的记忆功能。实际上，如果输入和相关输出的依赖超过了10个时间点，RNN就很难学习到其中的依赖关系。由于距离当前时刻非常远的输入数据不能为当前的模型参数的更新做出贡献，在RNN的编程实现中往往使用“截断梯度（truncated gradient）”的做法，即忽略离当前较为久远的信息，只利用较近时刻的信息。

基于循环神经网络（Recurrent Neural Network, RNN）的深度网络模型在处理和预测时序问题时表现出色，被广泛用于手写识别、语音识别、自然语言处理等诸多领域。RNN是一种用于解决时序问题的网络模型，将RNN按时间节点展开的结构和前向传播方式与多层前馈网络类似，区别在于，RNN隐层的上一次激活值会加入计算。RNN使用基于梯度下降法的RTRL和BPTT算法进行反向传播，BPTT算法是BP算法的扩展，相对RTRL来说计算量更少，因此也更常用。为了解决RNN存在的梯度消失问题，学界尝试了“梯度截断”和非梯度训练算法，但更通用的方式是使用LSTM（Long Short-Term Memory，长短期记忆网络）模型。

LSTM是一种针对RNN梯度消失问题而改进的RNN网络。LSTM对经典RNN的节点单元进行了改进，引入了记忆单元的概念。记忆单元前后分别增加了输入门和输出门结构，以控制输入信息和输出信息。针对记忆单元历史信息不断累加的问题，在记忆单元中加入了遗忘门，使记忆单元可以重置自身的值。LSTM型RNN网络在诸多领域的成功应用，使RNN成为深度学习领域最热门的网络模型之一。

根据雷达回波外推问题的特性，在综合研究了深度学习领域的主流深层神经网络后，选择了循环神经网络（RNN网络）的改进模型长短期记忆网络（LSTM网络）模型作为研究基础，对雷达回波问题进行研究和实践。在使用LSTM网络模型进行实践的基础上，结合问题特性和相关理论基础，对LSTM网络模型进行了针对雷达回波外推问题的改进，提出了用于雷达回波外推的循环神经网络（Radar Echo Tracking RNN，雷达回波跟踪循环神经网络）模型，并对RET-RNN网络模型的学习率和激活函数等细节进行了进一步的研究和优化。