[发明专利]一种电梯挡门行为识别方法

说明书

本发明公开了一种电梯挡门行为识别方法，针对电梯内强制遮挡电梯门这一常见的不良行为，搭建BN‑Inception神经网络和3D‑ResNet神经网络融合的算法网络，并在网络中加入长时序特征捕获注意力机制，用以提高网络对长范围信息捕获的能力，进而提高算法准确率；采用自适应的帧采样策略，抛弃冗余帧，提高网络的计算速度；该方法利用电梯监控视频作为数据集，利用融合算法网络在电梯监控视频层面对电梯内不良行为进行分类识别；此方法适用于电梯轿厢这一场景，实现了对电梯监控视频中遮挡电梯门行为的准确识别，能够代替人工进行智能监视，便于管理人员对电梯内不良行为的监控和管理。

技术领域

本发明属于行为识别领域，涉及一种电梯挡门行为识别方法。

背景技术

如今轿厢式电梯内不良行为的发生很频繁，一些不安全行为容易导致电梯故障，甚至引发事故。为了及时发现电梯内一些不良行为和突发事故，大部分电梯轿厢内安装了监控摄像头，但传统视频监控系统需要人为对监控视频进行实时监视，容易误判和漏判。此外，还有一些场所使用基于计算机视觉的人工智能算法对视频中的行为进行识别，但此类算法多单独采用3D神经网络直接对视频进行特征提取。现存方法典型做法是基于小窗口分数融合后给出分类判断，不但计算复杂，网络框架繁重，且短时间窗口无法覆盖整个视频，多个小窗口之间的时序关系并不能被最优获取，丧失了跨越数秒的行为间的重要关系。此外，如图1所示，针对电梯内挡门这一行为，其持续时间长，较远帧间行为特征有关联，因此需要网络具有长范围的特征捕捉能力。

另外，现存视频分类算法中多采用逐帧采样的方法将每一帧视频帧都输入网络，但针对挡门这一行为的特征，即动作幅度不大，帧间差距小，相邻帧大多是冗余的，若采用逐帧采样的方法将大大浪费神经网络的计算力，严重影响神经网络的处理速度，对本地服务器或者云端服务器的内存也有很高的要求，特别是在实际应用场景中，单单一个小型社区就会存在数十台监控视频同时进行监控时，逐帧采样的方法对服务器端的数量要求以及单台服务器计算力的配置要求都会很高，同时长时间运行所产生的耗电及维保等运营成本也会很高。

发明内容

本发明目的是：提供一种电梯内挡门行为的识别方法，使用2D与3D神经网络融合的算法网络并加入长时序特征捕获注意力机制，对电梯监控视频内挡门行为进行识别，实现无需人为操作，便可准确识别遮挡电梯门行为的效果。

本发明的技术方案是：一种电梯挡门行为识别方法，所述电梯挡门行为识别方法包括：

S1：对电梯监控视频进行数据采集和筛选，得到包含挡门和不挡门两类行为的视频段，再通过抽帧制作成包含这两类行为的视频数据集；

S2：构建网络输入端，通过输入端对输入的视频段进行等份分割，在分割的每一段中进行随机抽帧，再对抽得各帧进行比较筛选，抛弃其中信息冗余帧；

S3：构建网络主体，将2D神经网络BN-Inception与3D神经网络3D-ResNet进行剪枝融合，保留BN-Inception神经网络中Inception-3c层之前的网络层，和3D-ResNet神经网络中的前18层，将2D神经网络提取出的特征图张量按序堆叠后，送入3D网络中进行时序特征提取；

S4：在步骤S3构建的网络主体中，在3D神经网络中的res3b和res4a层之间插入一层长时序特征捕获的注意力机制层；

S5：采用迁移学习的方法对搭建好的网络进行训练，得到训练好的模型；

S6：将待检测的电梯监控视频作为输入送入步骤S5中训练得到的模型中，输出分类结果，并根据分类结果，来判断该视频是否出现挡门行为。

其进一步的技术方案是：步骤S1中制作视频数据集的过程包括：

S11：将包含两类行为的视频段采用隔帧抽取的方式进行抽帧，生成RGB图像序列；