[发明专利]基于综合光流特征描述符及轨迹的人群异常行为检测方法

摘要

针对复杂背景及遮挡等原因所引起的人群异常行为检测性能低的问题，本发明提出一种基于综合光流特征描述符(简称SOFD)及轨迹的人群异常行为检测方法。本方法首先根据人群光流场变化计算人群运动速度、加速度、方向和能量，并利用上述特征设计新的时空特征描述符(即SOFD)；第二，利用KLT(Kanade‑Lucas‑Tomasi)追踪算法获得人群运动轨迹单帧图；最后基于所获取的特征，设计双流卷积神经网络(简称TS‑CNN)以检测人群异常行为。仿真实验结果表明，本方法在复杂人群环境中比现有主流算法显著提高人群异常行为检测的准确性及鲁棒性，为控制突发事件引发的人群骚动，引导人群合理避险提供依据。

主权项

1.基于综合光流特征描述符及轨迹的人群异常行为检测，其特征是：包括如下步骤：1)特征选择：通常情况下，人群行进方向及速度具有相似性；然而当异常事件发生时，人们由于恐惧会快速逃跑以避免潜在危险，如发生火灾人们会迅速逃离，因此人群异常行为具有运动速度快、加速度突然增加、运动方向明显集中在某个方向或多个方向均衡、运动幅度大、步伐大、表情恐慌、轨迹混乱等特征：其中，速度、加速度、方向及运动幅度等特征计算较为简单，可利用光流表示，而步伐及表情等特征提取较为复杂；为降低复杂度，通过提取运动目标的速度、加速度、方向、运动幅度及轨迹等特征以检测人群异常行为；2)根据人群光流场变化计算人群运动速度、加速度、方向和能量，并利用上述特征设计新的时空特征描述符，即SOFD：(1)采用具有较高光流估计精度的HS方法计算人群光流；HS方法可简述如下：目标在空间中一般为连续运动，因而所获运动目标图像也是连续的，即灰度不变，由此可得光流方程如下：I_xu+I_yv+I_t＝0      (1)其中，I(x,y,t)表示t时刻图像亮度变化，I_x,I_y,I_t分别为其偏导数；u,v为点(x,y)在x，y方向上所要求解的速度分量；由上式所得的水平偏移量ΔX与垂直偏移量ΔY以计算运动目标的速度、加速度、方向角与能量值；第n帧图像运动区域各像素的速度为其中，ΔX_i,j,ΔY_i,j分别为像素pix(i,j)水平和垂直方向的偏移量；目标加速度可由下式获得：a＝(v_i,j(n+1)‑v_i,j(n))        (3)其中，v_i,j(n)，v_i,j(n+1)分别为像素pix(i,j)第n帧和第n+1帧的速度；目标运动方向可表述为：由于人群逃散行为具有方向集中或多方向均衡的特征，为较为精确地刻画异常行为方向，可将上式所得到的角度均匀量化为8个方向以便后续特征提取及融合；基于式(2)所得运动速度，可计算目标光流能量以描述目标运动幅度变化，即：(2)为消除人群运动速度、加速度、方向和能量各指标间的量纲影响，可通过对上述特征进行归一化处理；采用min‑max标准化对上述四个指标进行归一化处理，通过对原始数据进行线性变化，从而将指标x映射为区间[0,1]中的x'，以便后续对所获特征加权融合；x'由下式获得：其中，x为指标值，x_min为指标数据最小值，x_max为指标数据最大值；(3)归一化处理后特征加权融合成SOFD可体现群体运动差异性；此外，SOFD将个体之间差异性和视频全局运动信息相融合以保持局部及全局特征，进而提高人群异常行为检出率；基于以上所述，SOFD可表示如下：其中，v，θ,α,E分别为速度、方向、加速度和能量；w₁，w₂，w₃，w₄为调节速度、方向、加速度和能量的权重系数；f_fnum为帧数；3)利用KLT(Kanade‑Lucas‑Tomasi)追踪算法获得人群运动轨迹单帧图在KLT特征点跟踪算法中采用Harris角点提取算法以获得稳定可靠的跟踪性能；区别于传统多目标追踪算法，所提方法综合考虑群体间遮挡及个体目标尺寸较小等问题，对于遮挡较为严重的拥挤人群可以达到较好检测效果；人群运动轨迹有助于区分正常与异常行为，因此在单帧图中加入轨迹信息以提高人群异常行为检测性能；4)设计并训练面向SOFD与轨迹单帧图的截断式双流CNN(1)CNN由于使用层次训练和特征池化等操作自动学习输入图像复杂特征从而获得相较于手动生成特征更优分类及识别性能；相较于图像，视频具有时序特征，从而为相关识别任务引入更多信息；TS‑CNN通过模拟视觉原理，基于视频空域信息，对时域信息进行理解，即同时考虑空、时域以获得较好检测效果；因而本发明选用双流CNN对所得数据进行特征提取与分类；(2)针对中高密度人群，个体目标尺寸较小且运动目标间存在相关性，对输入图片统一尺寸为256*256；为有效利用SOFD及轨迹单帧图信息，保留目标相关性，且适当降低计算量并控制过拟合及欠拟合，双流CNN第一层卷积核尺寸设置为7*7，步长为2；卷积核个数设置为64提取图像颜色、纹理、轨迹等特征及SOFD所表征人群动态信息；池化层皆采用最大池化，尺寸设置为2*2，以减少冗余信息并保留运动目标关键特征点信息；第二层卷积核尺寸设置为5*5，步长为2，个数为128保证特征提取时关键特征点信息不丢失；随后三个卷积层卷积核尺寸皆设置为3*3，步长为1，抽取更为抽象的高级特征；卷积层后设计三个全连接层以解决异常行为检测非线性问题；由于输出只有两类，即正常与异常，因此设置全连接层结点个数为4096，输出层结点个数为2；由于训练样本规模较小，因而在全连接层加入Dropout防止网络过拟合以增强网络泛化性；(3)卷积后融合，融合后不截断空间网络，继续时间与空间网络传输，全连接后再次融合以实现空间与时间信息的像素对应，该融合过程不会导致模型参数过于复杂，且不造成模型性能损失，同时可形成完整时空特征，因而可改善人群异常行为检测性能；(4)基于双流CNN的人群异常行为检测包含训练和测试两个阶段，采用交叉验证法进行训练与测试，即使用一部分数据集作为训练样本时，将该数据集其余部分作为测试样本；在双流CNN训练过程中采用有监督训练，即将一部分SOFD与单帧轨迹图标记为正常或异常，将标记样本输入双流CNN并根据实际输出与期望输出差来调整权重以完善双流CNN；最后，将未标记样本输入已训练双流CNN获得分类结果。