[发明专利]用于变电站行为监测的卷积神经网络模型的建模方法

权利要求书

1.一种用于变电站行为监测的卷积神经网络模型的建模方法，其特征是：

包括以下步骤：

Sl:对实时视频流和视频帧截取，对收集到的变电站行为图像进行数据集标注，并且构建图像模型数据集；

S2:据集划分

将数据集划分为训练集和验证集；

S3:模型训练

基于目标检测算法框架yolov4进行改进优化，对训练集进行训练，得到训练模型；基于目标检测算法框架yolov4进行改进优化具体步骤如下：

S31:yolov4主干结构采用CSPDarknet53，该结构是在Darknet53的基础上修改而来的，由一个卷积层和多个Resblock_body子结构组成；Resblock_body子结构由两部分组成，一部分是一个巨大的残差边，另一部分则是由多个残差块堆叠而成，每个残差块又由一个小的残差边和由2个卷积层组成的边组成，形成一种嵌套的残差结构；

S32:除了主干网络，Yolov4还采用了SPP结构和PANet结构；

SPP结构，即不同尺度的最大池化后堆叠，它能够极大地增加感受野，分离出最显著的上下文特征；PANet结构通过上采样UpSampling和下采样DownSampling将不同层的信息进行融合，从而使得各层同时获得高层语义信息和低层语义信息；

S33:激活函数:使用了Mish激活函数，Mish(x)＝x·tanh(log(1+exp(x))；

S34:yolov4使用了Yolo Head，利用提取到的特征进行预测；

在特征利用部分，YoloV4提取多特征层进行目标检测，一共提取三个特征层，分别位于中间层、中下层、底层；形状分别为(N,19,19,3*(n_class+5))，(N,38,38,3*(n_class+5))，(N,76,76,3*(n_class+5))的数据(n_class是类别数)，对应每个图分为19x19、38x38、76x76的网格上3个预测框的位置；但是这个预测结果并不对应着最终的预测框在图片上的位置，还需要解码才可以完成；最后一个维度中的(n_class+5)包含了4+1+n_class，分别代表x_offset(中心点x轴偏移)、y_offset(中心点y轴偏移)、h(宽)和w(高)、置信度、分类结果；yolov4的解码过程就是将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽；这样就能得到整个预测框的位置了；

S35:准确定位的公式如下:

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IOU(b,object)＝σ(t₀)

上述公式中，(t_x,t_y)表示边界框的中心横纵坐标；(c_x,c_y)表示网格的左上角坐标；(t_w,t_h)表示边界框的宽度、高度；σ是sigmord函数；

(b_x,b_y,b_w,b_h)表示边界框相对于网格的中心横纵坐标、宽度、高度；(p_w,p_h)表示预设的anchor的宽度和高度；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；

S36:损失函数的计算:此处使用平方和误差来优化模型，包含定位误差和分类误差，如下所示：

各参数表示如下：

λ_coord：定位误差的权重，yolo设置该参数为5；λ_noobj：不存在对象的bounding box的置信度的权重，yolo设置该参数为0.5；S：特征图的尺寸；B：每个网格预测的anchor的个数；坐标(i,j)处有物体则为1，否则为0；坐标(i,j)处没有物体则为1，否则为0；

x_i：预测的x轴偏移量；y_i：预测的y轴偏移量；

实际的x轴偏移量；实际的y轴偏移量；

w_i：预测的边框宽度；h_i：预测的边框高度；

实际的边框宽度；实际的边框高度；

c_i：网格内有物体的得分；网格内有物体则为1，否则为0；

p_i(c)：预测为c类的置信度；实际为c类物体则为1，否则为0；

S4:模型验证

在验证集上，对得到的训练模型进行初步评估；

S5:模型测试及现场部署

通过ip地址获取视频，对视频流里的每帧图片进行检测，用矩形框框出违规行为，并给出违规行为的类别和置信度；

S6：违规视频输出

将检测出有违规行为的帧写入视频文件，并将视频信息写入数据库。