[发明专利]基于改进门控循环神经网络的网络流量预测方法

说明书

本发明公开了一种基于改进门控循环神经网络的网络流量预测方法，利用过去一段时间的网络流量作为网络流量预测模型的输入，输出接下来一段时间内网络流量大小的预测值。本发明的方法能在保证预测精度不下降的前提下大幅度减少循环神经网络预测网络流量时的训练时间，有效节约计算资源。

技术领域

本发明涉及网络流量预测领域，特别是一种基于改进门控循环神经网络的网络流量预测方法。

背景技术

人工神经网络的研究很早已经出现，它可定义为具有适应性的简单单元组成的广泛互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的反应。最基本的神经网络是前馈神经网络，它包含一个输入层、若干个输出层、一个输出层，每层由若干个输出层组成，层与层之间全连接，现有理论已经证明，它拥有的的这种非线性结构使得它可以无限逼近任何的非线性函数，因此当把它用于时间序列预测时它的精度比传统的线性预测模型要高很多。经过几十年来国内外科研工作者的刻苦钻研，目前已经有很多种前馈神经网络的变体被提出，例如循环神经网络、卷积神经网络、递归神经网络、深度生成模型、玻尔兹曼机、深度信念网络、生成式对抗网络、自编码器等等；其中的循环神经网络由于循环结构的存在，使得它具有“记忆性”，因此特别适用于处理序列问题，例如交通流量以及网络流量的预测等等，但普通的循环神经网络存在收敛困难和无法处理序列的长距离依赖等问题。为了解决这个难题，学者们提出了很多种经过结构改造的循环神经网络，最典型的是长短期记忆单元(LSTM)、门控循环单元(GRU)。

LSTM是RNN的一种极其流行的变体。和普通的RNN相比，它的每个隐藏层神经元包括两个状态：单元状态c和隐藏层状态h。单元状态c用来捕捉序列的长期依赖，隐藏层状态h对短期输入敏感。LSTM的内部包含三个门：输入门、遗忘门、输出门。输入门确定当前时刻的输入有多少保留下来，遗忘门决定上一个时刻的单元状态有多少保留下来，输出门决定有多少单元状态有多少作为隐藏层单元的输出。通过三个门控装置的作用，LSTM能够很好地处理长期依赖问题。

GRU在LSTM的结构上进行了进一步改造。它去掉了LSTM的单元状态，使用隐藏层状态来处理长期依赖；把LSTM的输入门和遗忘门合并成了一个门，叫做更新门；重置门是它的另一个门控装置。更新门决定当前时刻的输入有多少保留下来，重置门决定遗忘过去的信息的程度。因此，它同样可以捕捉到世界序列的长期依赖特性。考虑到更新门和重置门在功能上有重叠，最近提出的的门控循环单元(M-GRU)去除了重置门，只保留了更新门。

然而普通循环神经网络无法捕捉到网络流量的长期相关性，因此预测精度相对较低。而基于LSTM神经网络和M-GRU神经网络的网络流量预测模型要么内部结构很复杂，要么受到隐藏层层数的影响，其训练速度势必大大受到降低。

发明内容

为解决上述技术问题，本发明所采用的技术方案是：一种基于改进门控循环神经网络的网络流量预测方法，利用过去一段时间的网络流量作为网络流量预测模型的输入，输出接下来一段时间内网络流量大小的预测值，所述网络流量预测模型的单向隐藏层表达式为：

F_t＝σ(W_Fx_t+U_Fh_t-1+b_F)；

z_t＝σ((W_zx_t+U_zh_t-1+b_z)；

h_t＝F_t·h'_t+(1-F_t)·x_t；