[发明专利]一种基于量子加权长短时记忆神经网络的趋势预测方法

摘要

本发明涉及一种基于量子加权长短时记忆神经网络的趋势预测方法，包括：实时采集振动样本数据；构建小波包能量熵集；对小波包能量熵集归一化处理；构建QWLSTMNN模型；归一化的小波包能量熵集输入QWLSTMNN模型中训练和预测；计算各时间点的小波包能量熵误差集；将小波包能量熵误差集输入QWLSTMNN模型中训练和预测；将预测的归一化的小波包能量熵误差集反归一化处理，得到最终预测结果。本发明构建了QWLSTMNN网络，引入量子位表示网络权值和活性值并将输入层权值扩展到隐层以获取额外的梯度信息，同时利用隐层权值的反馈信息以获取输入序列的全部记忆，改善了网络泛化能力；采用量子梯度下降算法修正量子相移门以实现权值量子位、活性值量子位的快速更新，提高了网络的收敛速度。

主权项

1.一种基于量子加权长短时记忆神经网络的趋势预测方法，其特征在于，包括以下步骤：S1：实时采集监控对象的原始运行数据，作为训练样本和测试样本；S2：为所有采集的旋转机械振动样本数据构建小波包能量熵；S3：对所述小波包能量熵进行归一化处理，得到归一化的小波包能量熵集；S4：构建量子加权长短时记忆神经网络模型；S5：将步骤S3中得到的归一化的小波包能量熵集输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵集；S6：计算各时间点实际的小波包能量熵和预测的小波包能量熵的误差，构建小波包能量熵误差集；S7：将所述小波包能量熵误差集归一化处理后，输入所述量子加权长短时记忆神经网络模型进行训练和预测，得到预测的归一化的小波包能量熵误差集；S8：将预测的归一化的小波包能量熵误差集进行反归一化处理，得到最终预测结果；其中，步骤S4中构建量子加权长短时记忆神经网络，包括以下步骤：S41：构建长短时记忆神经网络，长短时记忆神经网络在下文中简称为LSTMNN，包括输入门i；遗忘门f；输出门o；记忆单元c和候选记忆单元单元输出(即隐层状态)h；t时刻的隐层状态定义如下：其中，表示张量积；tanh表示双曲正切函数；表示t时刻的记忆单元；表示调节记忆曝光量的输出门，其数学表达式如下：其中，表示t‑1时刻的隐层状态，且当t＝1时，W_o、U_o和分别表示输出门中的输入权值矩阵、上一时刻隐层权值矩阵和偏置向量；记忆单元通过添加部分候选记忆并遗忘部分历史记忆来更新信息，记忆单元和候选记忆单元定义如下：其中，W_c、U_c和分别表示候选记忆单元中的输入权值矩阵，上一时刻隐层权值矩阵和偏置向量；输入门和遗忘门分别用来调节候选记忆添加程度和现有记忆遗忘程度，和可分别由以下公式表示：其中，σ为sigmoid函数；W_i、U_i和分别表示输入门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；W_f、U_f和分别表示遗忘门中的输入权值矩阵，上一时刻活性值权值矩阵和偏置向量；根据式(6)计算出t时刻的隐层状态后，由下式可计算LSTMNN的输出其中，Wy表示输出层权值矩阵；S42：构建量子相移门：量子相移门可记为设量子比特的初始状态为则相位变换按如下规则进行：其中，|φ′0＞表示经过变换后观测到的最新状态；S43：构建量子加权神经元模型，量子位|φ_i＞、分别表示权值和活性值，其中聚合算子记为∑，F是活化函数，f表示激励函数，激励采用sigmoid函数或双曲正切函数，神经元输入为输出为y；权向量|φ＞＝[|φ₁＞,|φ₂＞,…,|φ_m＞]^T，其中，权值量子位|φ_i＞＝[cosθ_i,sinθ_i]^T，其中，θ_i为|φ_i＞的相位；活性值量子位其中，ξ为的相位；则，量子加权神经元的输入输出关系可表述为：当输入为输出为时，结合式(9)可推导出量子加权神经元输入输出关系如下：其中，i＝1,2,…,m,j＝1,2,…,n；表示量子权向量；|φ_ij＞＝[cosθ_ij,sinθ_ij]^T和分别是用于求解权值矩阵W的权值量子位和活性值量子位；θ_ij和ξ_j分别是|φ_ij＞和的相位；则，权值矩阵W可表示为：由式(10)和式(11)可知，W中的任意一个元素w_ji均可由θ_ij和ξ_j来表示，因此，通过更新权值量子位相位θ_ij和活性值量子位相位ξ_j来更新权值量子位|φ_ij＞和活性值量子位来实现整个权值矩阵的更新；S44：构建量子加权长短时记忆神经网络结构，量子加权长短时记忆神经网络结构简称为QWLSTMNN；记QWLSTMNN结构为m‑p‑n，t时刻的输入层为隐层为输出层为激活函数为sigmiod，记为σ，i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p；l＝1,2,…,n；首先，根据式(5)和式(10)可以推导出QWLSTMNN的输出门如下：其中，(θ_wi)_ij和(ξ_wi)_j分别是用于求解权值矩阵W_i的权值量子位相位和活性值量子位相位，(θ_ui)_kj和(ξ_ui)_j分别是用于求解权值矩阵U_i的权值量子位相位和活性值量子位相位；当t＝1时，同理，根据式(2)、式(4)、式(6)、式(10)，可推导遗忘门f_t^j、候选记忆单元和输出门如下：其中，(θwf)ij和(ξwf)j分别是用于求解权值矩阵Wf的权值量子位相位和活性值量子位相位，(θuf)kj和(ξuf)j分别是用于求解权值矩阵Uf的权值量子位相位和活性值量子位相位；其中，(θwc)ij和(ξwc)j分别是用于求解权值矩阵Wc的权值量子位相位和活性值量子位相位，(θuc)kj和(ξuc)j分别是用于求解权值矩阵Uc的权值量子位相位和活性值量子位相位；其中，(θwo)ij和(ξwo)j分别为用于求解权值矩阵Wo的权值量子位相位和活性值量子位相位，(θuo)kj和(ξuo)j分别为用于求解权值矩阵Uo的权值量子位相位和活性值量子位相位；接着，根据式(12‑14)可推导记忆单元如下：然后，由式(14‑15)计算隐层状态如下：最后，根据式(7)、式(10)、式(17)，可以得到QWLSTMNN在t时刻的输出值如下：其中，(θwy)kl和(ξwy)l分别为用于求解权值矩阵Wy的权值量子位相位和活性值量子位相位；S45：通过修正量子相移门的相位来更新权值量子位和活性值量子位：记第s步训练时的权值量子位为|φ(s)＞(s＝1,2,…,N_max‑1，N_max表示最大训练步数)；θ(s)为|φ(s)＞的相位；Δθ(s)为θ(s)的增量，为第s步训练的活性值量子位；ξ(s)表示的相位；Δξ(s)表示ξ(s)的增量。一位相移门表示如下：更新后的权值量子位和活性值量子位表示如下：因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，就可以对权值量子位|φ(s)＞和活性值量子位进行更新，也即实现了权向量的更新；记QWLSTMNN的逼近误差函数为：其中，y_l和分别表示期望输出和实际输出；定义动态学习速率表达式如下：其中，α表示学习率，e为自然常数，r∈[0,1]为动态收敛因子，用来调节的变化范围，当r＝0时，根据量子梯度下降法，相位增量Δθ(s)和Δξ(s)由以下两式分别得出：令(θwi)ij(s)、(θwf)ij(s)、(θwo)ij(s)、(θwg)ij(s)、(θwy)kl(s)、(θui)kj(s)、(θuf)kj(s)、(θuo)kj(s)、(θug)kj(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的权值量子位相位，分别将这些权值量子位相位作为自变量代入公式(25)可求得对应的相位增量Δ(θwi)ij(s)、Δ(θwf)ij(s)、Δ(θwo)ij(s)、Δ(θwg)ij(s)、Δ(θwy)kl(s)、Δ(θui)kj(s)、Δ(θuf)kj(s)、Δ(θuo)kj(s)、Δ(θug)kj(s)。同理，令(ξwi)j(s)、(ξwf)j(s)、(ξwo)j(s)、(ξwg)j(s)、(ξwy)l(s)、(ξui)j(s)、(ξuf)j(s)、(ξuo)j(s)、(ξug)j(s)分别表示执行第s步训练时用于求解权值矩阵Wi、Wf、Wo、Wg、Wy、Ui、Uf、Uo、Ug的活性值量子位相位，分别将这些活性值量子位相位作为自变量代入公式(26)可求出对应的相位增量Δ(ξwi)j(s)、Δ(ξwf)j(s)、Δ(ξwo)j(s)、Δ(ξwg)j(s)、Δ(ξwy)l(s)、Δ(ξui)j(s)、Δ(ξuf)j(s)、Δ(ξuo)j(s)、Δ(ξug)j(s)；将求得的相位增量分别带入式(20)和式(21)，即可实现所有权值量子位和活性值量子位的更新。