[发明专利]一种基于增量协同注意力移动卷积的电力终端识别方法

权利要求书

1.一种基于增量协同注意力移动卷积的电力终端识别方法，其特征在于，基于增量协同注意力移动卷积的电力终端识别方法将增量学习、协同注意力机制和移动卷积神经网络结合应用到电力终端识别中，实现对电力终端的快速、精准识别；基于增量协同注意力移动卷积的电力终端识别方法分为以下5个步骤：

步骤(1)用电数据获取：使用电压电流传感器对电力终端各个工况下的运行电流和电压数据进行5kHz采样频率下的波形采集；

步骤(2)数据预处理：将传感器获得的电流和电压数据转化为电力终端图矩阵的形式；在数据预处理过程中，电压波形数据和电流波形数据将作为两个通道独立进行处理；在这两个通道中，每个电网周期的电压数据和电流数据将被按照时序分为四段，并按照蛇形存入4行25列的图中，形成电力终端图矩阵；

步骤(3)协同注意力机制和移动卷积神经网络训练：将移动卷积神经网络与协同注意力机制结合；将卷积神经网络的卷积过程拆分为深度卷积和逐点卷积；深度卷积的结果为：

其中，K为深度卷积核，深度卷积核的大小为D_K×D_K×M；F为被卷积的大小为D_W×D_H×M的电力终端图矩阵；

移动卷积神经网络对卷积神经网络的卷积过程进行了改进，逐点卷积的作用是扩充和压缩输入电力终端图矩阵的通道数；其方法是使用1×1×M×N的卷积核对输入电力终端图矩阵进行卷积操作；深度卷积和逐点卷积的卷积过程的计算量为：

D_K·D_H·M·D_W·D_W+M·N·D_W·D_H

在移动卷积神经网络中，单次卷积的过程由逐点卷积升维过程、6型线性整流函数激活过程、深度卷积过程、6型线性整流函数激活过程、逐点卷积降维过程、线性全连接过程组成；其中，6型线性整流函数表示为：

ReLU(6)＝min(max(0,x),6)

式中，x为输入变量；

协同注意力机制在水平方向上使用(D_H,1)的池化核，在垂直方向上使用(1,D_W)的池化核对大小为(D_H,D_W)的电力终端图矩阵在水平和垂直方向上进行全局池化；

协同注意力机制对高度层为h的第c个通道在水平方向上进行全局池化的输出为：

其中x_c为输入的电力终端图矩阵的第c个通道；

协同注意力机制对宽度层为w的第c个通道在垂直方向上进行全局池化的输出为：

协同注意力机制对输入的电力终端图矩阵进行水平和垂直方向上的全局池化之后，将池化结果使用卷积变换进行连接：

f＝δ(F₁([z_H,z_W]))

其中，[·,·]为沿空间维度的连接操作；δ表示非线性激活函数；其中r为控制块大小的缩减率；F₁(·)为1×1的卷积变换函数；z_H和z_W分别为所有层z_H,c和z_W,c的并集；

沿着空间维度将f重新分解为两个单独的向量和再使用1×1的卷积核对两个单独的向量f_H和f_W进行卷积，将结果变换到与输入电力终端图矩阵相同的维度上，得到电力终端图矩阵垂直和水平方向上的权重值分别为：

g_H＝σ(F_H(f_H))

g_W＝σ(F_W(f_W))

其中，g_H和g_W分别为电力终端图矩阵垂直和水平方向上的权重值；卷积变换函数F_H(·)和F_W(·)分别表示垂直和水平方向的1×1卷积函数；

协同注意力机制赋予输入电力终端图矩阵的权重值为：

y_c(i,j)＝x_c(i,j)×g_H,c(i)×g_W,c(j)

其中，g_H,c和g_W,c分别为g_H和g_W的第c个通道；y_c为赋予权重值之后的电力终端图矩阵；

将被赋予权重值后的电力终端图矩阵送入移动卷积神经网络中进行学习，移动卷积神经网络和协同注意力机制参数在学习过程中同步更新；

步骤(4)识别：在步骤(3)协同注意力机制和移动卷积神经网络训练结束之后，继续使用电压和电流传感器获取电力终端运行工况下的电压和电流波形，并按照步骤(2)数据预处理的方法形成电力终端图矩阵，采用步骤(3)的协同注意力机制和移动卷积神经网络进行识别；

步骤(5)未被学习的电力终端的增量处理：提出基于自选择增量表征学习和学习率控制的增量学习策略；并将自选择增量表征学习应用于协同注意力机制和移动卷积神经网络中，将学习率控制应用于协同注意力机制中；

增量学习策略中的自选择增量表征学习由对已学习数据中的部分数据进行重新学习的阶段和增量数据学习阶段组成；对已学习数据中的部分数据进行重新学习的阶段有效避免神经网络的灾难性遗忘；增量数据学习阶段使神经网络能够识别未被学习的电力终端；

采用步骤(3)中的已完成训练的协同注意力机制来选取对已学习数据中的部分数据进行重新学习的阶段所需要的数据；将所有已学习数据送入协同注意力机制进行处理，得到每个数据的权重值矩阵；将权重值矩阵按照列向量进行连接，并求取权重值矩阵的模值，将模值最大的10个电力终端图矩阵选出作为已学习数据中的部分数据进行重新学习的阶段所需要的数据；

将已学习数据中的部分数据进行重新学习的阶段所需要的数据和增量数据进行组合，并扩展协同注意力机制和移动卷积神经网络的分类层，使用以下的损失函数对协同注意力机制和移动卷积神经网络再次进行训练：

其中，l(Θ)为损失函数；Θ为协同注意力机制和移动卷积神经网络中移动卷积神经网络部分的参数；X_i为第i个输入数据，X_i的前s-1个输入数据为已学习数据中的部分数据进行重新学习的阶段所需要的数据，X_i的s到t个数据为增量数据；Y_i为对应X_i的标签；为使用激活函数后的真实值；q_Y,i为概率化后的真实值；g_Y(X_i)为X_i对应的预测值；log(·)为以10为底的对数；

增量学习策略中的学习率控制作用于步骤(3)中的协同注意力机制；含电机元件的电力终端启动时刻波形起伏较大，含电机元件的电力终端形成的电力终端图矩阵在垂直方向上的具有差异；在使用含电机元件的电力终端数据进行训练时，协同注意力机制垂直方向卷积的学习率为：

η_Y＝η_o(1+log(Conv2d_Y(X_i)))

其中，η_o为初始设定的学习率；Conv2d_Y(·)函数值表示在垂直方向上使用协同注意力机制得到的权重值；

在使用不含电机元件的电力终端数据进行训练时，协同注意力机制水平方向卷积的学习率为：

η_X＝η_o(1+log(Conv2d_X(X_i)))

其中，Conv2d_X(·)函数值表示在水平方向上使用协同注意力机制得到的权重值。