[发明专利]一种时序事件动作检测方法

说明书

本发明公开了一种一种时序事件动作检测方法，以整段视频中每个视频帧作为关键帧，选取前后或者附近相互关联的时序片段，根据所选时序片段长度，搭建3D卷积神经网络，保证3D卷积网络输出为2D动作特征图，忽略时序关联片段的微小位移变化，假设与关键帧位置大致相同，通过候选区域网络在动作特征图上找到关键帧的候选预测框，锁定动作范围大小后，将相应的动作特征选出，经过ROI Align归一化为相同尺寸大小，送入Faster RCNN的分类和回归网络中，得到最后所需的动作检测结果，对时序事件中动作特征建模，用3DCNN提高Faster RCNN中RPN提取候选区域所用动作特征质量，进而提高动作检测回归的准确率，之后用于FasterRCNN中动作识别，也能提高动作检测分类的准确率。

技术领域

本发明涉及火灾救援领域，尤其涉及时序事件动作检测方法。

背景技术

时序事件中动作识别是时序事件中动作检测和时序事件中动作提名的基础，作为最早的重要研究方向，其结果好坏直接对后续任务产生重要影响。而且动作识别应用最为广泛，如视频监控、短视频推荐和视频自动检索等都和它有着密不可分的联系。

时序事件动作检测是建立在动作识别的基础上，进一步分析时序事件中人物动作位置信息的任务，大多数目标检测模型都是以图像特征为基础，现有动作检测方法中采取多个图像帧分别提取特征再合并建模的比较多，这几年在目标检测技术的支持和硬件计算能力提升的条件下，计算机视觉中动作识别领域的研究也有了相应的新方向，就是动作检测。但是由于是起步阶段，故对于动作检测的研究相对保守，大多方法还停留在多帧的输入条件下，借助处理单张图像的卷积神经网络和目标检测框架来融合多个视频帧特征，而这种方法效果自然一般，并没有很好的利用时序事件的特点。

发明内容

本发明提供时序事件动作检测方法，包括：

将输入视频转化为视频帧后，找到该关键帧的时序关联片段，选择3D卷积神经网络进行时序建模提取关键帧前后的动作特征；

获取了关键帧的时续关联片段特征后，利用RPN网络中动作特征提出候选区域；

对候选区域进行动作识别；

生成UCF24数据集；

处理UCF24数据集，经过筛选简化后，进行实验并对结果分析。

可选地，上述所述的提取关键帧前后的动作特征具体的包括，将输入视频转化为视频帧后，以每一个视频帧为关键帧，做研究对象，先找到该关键帧的时序关联片段，以获得上下文信息，确定时序关联片段长度后，以关键帧为中心，找到前后对应一半长度的开始帧和结束帧，从而确定时序关联片段，如果关键帧本身靠近开始帧或者结束帧，导致时序关联片段长度不够时，则需要重复堆叠开始帧或者结束帧，以保证统一的时序关联片段长度，方便3D卷积神经网络提取相应的动作特征，选择3D卷积神经网络进行时序建模，使用3D卷积神经网络提取提取关键帧时序关联片段的动作特征，对该时序片段预处理。

可选的，上述所述的获取了关键帧的时续关联片段特征后，利用动作特征提出候选区域，利用RPN网络中动作特征提名候选区域的具体操作是：先生成锚框，再经过非极大值抑制算法，从这些候选提名中选取置信度相对较高的 2000个提名。

可选的，上述所述的对候选区域进行动作识别具体包括利用conv5层的2D 残差块对动作特征建模，通过多分类交叉熵得到动作类别，对于候选区域的位置信息利用样本真实标注框和smooth1L函数回归，精确定位，并再次通过非极大值抑制算法，在IOU为0.6的条件下，得到最后动作检测结果，完成整个端到端的网络搭建。

可选的，处理UCF24数据集，经过筛选简化后，对基于P3D和Faster RCNN网络的动作检测算法进行实验，对比基础算法，分析优劣，得出结果。

本发明提供的一种时序事件动作检测方法有益效果如下：