[发明专利]基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法

权利要求书

1.基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法，其特征在于，包括以下步骤：

S1、采集视频帧序列前几帧，用基于多尺度空间包络与颜色矩结合的全局特征提取方法，得到场景特征，并匹配运算得出当前场景标签；

S2、对输入的视频帧序列做前景分割处理，得到仅有前景像素点的帧图像；

S3、输入前景分割处理后的仅有前景像素点的帧图像，设置网格大小，把图像切割成若干个小块，统计每个小块中前景像素点个数，当第i小块的前景像素点超过阈值时标记该块为关键目标块b_i，最终得到每一帧图像的运动目标块集；

S4、计算帧图像中每个关键目标块b_i的速度v_i和方向u_i，得到运动特征；

S5、根据帧图像中行人的速度、方向，通过情感分析与社会力模型结合分析方法，计算出行人的情绪值，然后计算出行人的社会力，最后输出帧图像中的异常区域；

S6、根据帧图像中的异常区域，提取出异常区域中的局部特征，与场景特征、运动特征进行连接构成完整的特征向量I，输入到预先训练好的分类器中进行分类，得出异常的分类结果；

步骤S5中情感分析与社会力模型结合分析方法，首先将监控画面划分成同样大小的方格，在方格内考虑行人与行人，行人与障碍物之间的交互关系；然后引入情绪值的计算分析来判断人群中是否发生异常，以行人速度的对数值作为情绪初值，再根据每个行人不同的传播因子，以及取决于性格分类模型的易感因子，从而获取到该行人的情绪值，并结合行人之间的受力分析，得出可能存在异常的区域；

步骤S4利用Farneback光流法计算帧图像中每个关键目标块b_i的速度v_i和方向u_i：

把每个像素点的邻域用多项式展开来表示，从而对帧图像中每个关键目标块b_i计算得出位移估计值d_i；再引入多尺度位移估计的方法，先从一个较粗的尺度开始，得到一个粗略但合理的位移估计，接着通过逐级细化尺度获得越来越精确的估计；在尺度变换之间对关键目标块进行二次采样，通过二次采样将关键目标块在尺寸和质量上进行压缩，最后通过多帧的运算，获得每个关键目标块的速度v_i和方向u_i；

步骤S5将所有的行人划分为两种状态：感染状态和未感染状态；当行人情绪值大于预设阈值时，该行人由未感染状态转变为感染状态，处于感染状态的行人才能够向周围人传递情绪，每一个行人情绪值包括情绪初值以及情绪累计值；对于情绪累计值的计算，以划分的方格为界限，方格中的人互为邻居，处于感染状态的行人向其邻居传染情绪；每个人传播自己情绪的能力用传播因子α来表示，通过方格中的人群数量来计算传播因子α；每个人受到周围情绪的影响用易感因子τ来表示，依据OCEAN性格分类模型对性格进行区分，考虑其中的好奇、友好、消极三种性格因素，计算出行人的易感因子；最终每个人的情绪累计值由他所在方格内的邻居传递出的情绪值乘以易感因子再累加得到；计算每个方格中行人情绪的平均值，将这个平均值作为方格的情绪值；当情绪值大于预设阈值时，判断该方格中可能存在异常行为；最后通过社会力模型计算行人之间的受力情况，分析行人与行人之间的作用力、障碍物与行人之间的作用力都控制在同一个方格内计算，将行人与行人之间的作用力、行人与障碍物之间的作用力合并为交互力，即社会力；以方格中行人的最大社会力作为该方格的社会力，当社会力超过一定阈值时，判断该方格中可能发生异常。

2.根据权利要求1所述的人群异常行为检测方法，其特征在于，步骤S1中基于多尺度空间包络与颜色矩结合的全局特征提取方法，通过在空间包络5个描述子的基础上加上颜色特征描述子，构成完整的6个全局特征描述子，最后使用谱特征和学习到的权值分量做内积，得到改进的空间包络特征。