[发明专利]一种扶梯运行状态识别方法、装置、电子设备及存储介质

权利要求书

1.一种扶梯运行状态识别方法，其特征在于，包括：

获取待分析的视频图像；

将所述视频图像输入改进后的残差神经网络，输出扶梯运行状态的识别结果；

其中，所述改进后的残差神经网络为2D卷积神经网络，所述改进后的残差神经网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和全连接层；

所述第二卷积层包括第一残差模块和空间特征提取模块；

所述第三卷积层包括第二残差模块、空间特征提取模块和时序特征提取模块；

所述第四卷积层包括第三残差模块；

所述第五卷积层包括第四残差模块和时序特征提取模块。

2.根据权利要求1所述的方法，其特征在于，所述将所述视频图像输入改进后的残差神经网络，输出扶梯运行状态的识别结果，包括：

使用所述第一卷积层对所述视频图像进行一次特征提取，获得第一特征矩阵；

使用所述第二卷积层对所述第一特征矩阵进行二次特征提取，获得第二特征矩阵；

使用所述第三卷积层对所述第二特征矩阵进行三次特征提取，获得第三特征矩阵；

使用所述第四卷积层对所述第三特征矩阵进行四次特征提取，获得第四特征矩阵；

使用所述第五卷积层对所述第四特征矩阵进行五次特征提取，获得第五特征矩阵；

将所述第五特征矩阵输入所述全连接层，输出扶梯运行状态的识别结果。

3.根据权利要求2所述的方法，其特征在于，所述使用所述第二卷积层对所述第一特征矩阵进行二次特征提取，获得第二特征矩阵，包括：

使用所述第一残差模块对所述第一特征矩阵进行特征提取，获得提取特征矩阵；

使用所述空间特征提取模块对所述提取特征矩阵进行空间特征提取处理，获得第二特征矩阵。

4.根据权利要求3所述的方法，其特征在于，所述使用所述空间特征提取模块对所述提取特征矩阵进行空间特征提取处理，获得第二特征矩阵，包括：

对所述提取特征矩阵进行矩阵变换，得到变换特征矩阵；

对所述变换特征矩阵进行平均化处理，得到平均处理矩阵；

对所述平均处理矩阵进行卷积运算和激活函数运算，生成扶梯位置权重矩阵；

根据所述扶梯位置权重矩阵和所述提取特征矩阵，计算得到第二特征矩阵。

5.根据权利要求4所述的方法，其特征在于，所述对所述变换特征矩阵进行平均化处理，得到平均处理矩阵，包括：

在时间维度上，对所述变换特征矩阵进行平均池化处理，得到平均池化矩阵；

在通道数维度上，对所述平均池化矩阵进行特征平均处理，得到平均处理矩阵。

6.根据权利要求2所述的方法，其特征在于，所述使用所述第三卷积层对所述第二特征矩阵进行三次特征提取，获得第三特征矩阵，包括：

使用第二残差模块对所述第二特征矩阵进行特征提取，得到第一提取特征矩阵；

使用所述空间特征提取模块对所述第一提取特征矩阵进行特征提取，得到第二提取特征矩阵；

使用所述时序特征提取模块对所述第二提取特征矩阵进行特征提取，得到第三特征矩阵。

7.根据权利要求6所述的方法，其特征在于，所述使用所述时序特征提取模块对所述第二提取特征矩阵进行特征提取，得到第三特征矩阵，包括：

对所述第二提取特征矩阵进行全局空间平均池化处理，得到平均池化特征矩阵；

按照时间维度对所述平均池化特征矩阵进行拆分，得到第一拆分矩阵、第二拆分矩阵、第三拆分矩阵和第四拆分矩阵；

根据所述第一拆分矩阵、第二拆分矩阵、第三拆分矩阵和第四拆分矩阵，计算得到第三特征矩阵。