[发明专利]一种电梯挡门行为识别方法

权利要求书

1.一种电梯挡门行为识别方法，其特征在于，所述电梯挡门行为识别方法包括：

S1：对电梯监控视频进行数据采集和筛选，得到包含挡门和不挡门两类行为的视频段，再通过抽帧制作成包含这两类行为的视频数据集；

S2：构建网络输入端，通过输入端对输入的视频段进行等份分割，在分割的每一段中进行随机抽帧，再对抽得各帧进行比较筛选，抛弃其中信息冗余帧；

S3：构建网络主体，将2D神经网络BN-Inception与3D神经网络3D-ResNet进行剪枝融合，保留BN-Inception神经网络中Inception-3c层之前的网络层，和3D-ResNet神经网络中的前18层，将2D神经网络提取出的特征图张量按序堆叠后，送入3D网络中进行时序特征提取；

S4：在步骤S3构建的网络主体中，在3D神经网络中的res3b和res4a层之间插入一层长时序特征捕获的注意力机制层；

S5：采用迁移学习的方法对搭建好的网络进行训练，得到训练好的模型；

S6：将待检测的电梯监控视频作为输入送入步骤S5中训练得到的模型中，输出分类结果，并根据分类结果，来判断该视频是否出现挡门行为。

2.根据权利要求1所述的电梯挡门行为识别方法，其特征在于，步骤S1中制作视频数据集的过程包括：

S11：将包含两类行为的视频段采用隔帧抽取的方式进行抽帧，生成RGB图像序列；

S12：为每个视频段建立一个单独文件夹存放对应的抽帧所得的RGB图像序列，并将文件夹命名为该视频段的行为类别名称；

S13：将所有视频段按预设比例随机拆分成训练集和测试集，制作成数据集。

3.根据权利要求2所述的电梯挡门行为识别方法，其特征在于，步骤S2中对抽得各帧进行比较筛选的过程包括：

S21：对抽得各帧图像计算亮度梯度方向上的光流速率V(x,y)，其中，x，y为光流约束方程中像素点的坐标；

S22：根据电梯轿厢内的场景设置先验阈值L；

S23：将亮度梯度方向上光流速率小于先验阈值，即V(x,y)L的片段认为信息冗余帧，抛弃信息冗余帧。

4.根据权利要求3所述的电梯挡门行为识别方法，其特征在于，步骤S21中光流速率V(x,y)的计算公式是：

E(x,y,t)＝E(x+dx,y+dy,t+dt)

V(x,y)＝abs(Et/sqrt(Ex*Ex+Ey*Ey))

其中，E(x,y,t)表示光流约束方程，Ex表示光流约束方程对x坐标的偏导数，Ey表示光流约束方程对y坐标的偏导数，Et表示光流约束方程对时间t的偏导数。

5.根据权利要求1所述的电梯挡门行为识别方法，其特征在于，步骤S4中注意力机制层的输入输出关系为：

其中，x_i表示时间域中第i点在res3b层的输出张量，x_j表示遍历时间域中所有点的输出张量，W_g、和W_μ均为线性权重系数。

6.根据权利要求1所述的电梯挡门行为识别方法，其特征在于，步骤S5中采用迁移学习的方法对搭建好的网络进行训练的过程包括：

S51：在步骤S1制作的视频数据集中，加入公共视频数据集UCF101中的m类行为视频，生成共包含m+2类行为的数据集；

S52：训练前设置网络对输入视频段的分割段数，即参数中的segments；

S53：设置学习率和迭代次数后，开始训练。