[发明专利]基于高斯混合模型的人群中异常行为的检测方法

权利要求书

1.基于高斯混合模型的人群中异常行为的检测方法，其特征在于具体步骤如下：

第一步，输入视频序列并进行预处理：

(1.1)利用高斯混合模型对输入视频进行背景建模：

将摄像头采集的含有人群的视频序列输入到计算机中，输入的视频帧为N帧，每帧图像共有L×H个像素点，将输入的所有视频帧转化为灰度图像I_i，其中i＝1,…,N；

对第i帧灰度图像I_i中每个像素点建立K个高斯混合模型，每个高斯混合模型共有四个参数：优先级s、权重w、均值m和方差v，首先将第i帧灰度图像I_i中的每个像素点的灰度值与对应的K个高斯混合模型逐个进行匹配，然后根据该像素点的匹配情况更新与其对应的高斯混合模型，匹配和更新的公式如下：

其中，I_i(x,y)表示第i帧灰度图像I_i位于坐标(x,y)处的灰度值，m_k表示该坐标对应的第k个高斯混合模型的均值，1≤k≤K，v_k表示第k个高斯混合模型的方差，α为学习效率，w_k为第k个高斯混合模型的权重，s_k为优先级，更新的过程是，当第i帧灰度图像I_i中某像素点(x,y)处的灰度值I_i(x,y)与其第k个高斯混合模型匹配，即满足公式(1a)，则判断该像素点为背景点，并将其灰度值设置为0，然后根据公式(1b)-(1e)更新第k个高斯混合模型的四个参数，反之当像素点(x,y)处的灰度值I_i(x,y)与其k个高斯混合模型均不匹配时，即不满足公式(1a)，则该像素点为前景点，并将其灰度值置为255，同时将该像素点的原始灰度值I_i(x,y)作为其对应的K个高斯混合模型中优先级最低的模型的均值m_k；经过上述高斯混合模型的匹配与更新后，得到二值图像二值图像中的前景区域，即为初始的ROI，由此完成利用高斯混合模型对输入视频进行背景建模；

(1.2)形态学处理：

对上述(1.1)步得到的ROI进行中值滤波，再进行两次膨胀处理，填充ROI空洞，再将二值图像和第i帧灰度图像I_i进行“与”操作，保留第i帧灰度图像I_i与二值图像中前景区域位置相同的像素值，并将背景区域像素值设置为255，得到只含有运动物体的图像I_i′，由此完成形态学处理；

第二步，提取ROI光流运动特征和SIFT运动特征：

(2.1)提取ROI各像素点的光流运动特征：

利用金字塔LK光流法检测出上述(1.2)步得到的只含有运动物体的图像I_i′和只含有运动物体的图像I′_i+4中所有对应ROI内像素的位置坐标(x,y)和(x′,y′)，利用欧式距离公式计算两点之间的距离，得到各像素点的光流运动特征F_i，所用欧式距离公式(2)如下：

F_i(x,y)＝((x′-x)²+(y′-y)²)^1/2 (2)，

其中F_i(x,y)为第i时刻只含有运动物体的图像I′_i在4帧时间段内像素点的移动距离，即坐标点(x,y)处的像素点的光流运动特征F_i，由此得到ROI各像素点的光流运动特征；

(2.2)提取ROI中图像I′_i的SIFT运动特征：

对上述(1.2)步得到的只含有运动物体的图像I′_i和只含有运动物体的图像I′_i+4提取SIFT运动特征，得到只含有运动物体的图像I′_i和只含有运动物体的图像I′_i+4的所有SIFT特征点描述，匹配上述I′_i与I′_i+4两幅图像的SIFT特征点，同时用RACSAN算法对匹配结果进行筛选，得到上述图像I′_i与图像I′_i+4匹配的特征点与由欧式距离公式(2)计算特征点与在4帧时间段内的移动距离，得到ROI中第i时刻只含有运动物体的图像I′_i的SIFT运动特征S_i；

第三步，按图像子块分配运动特征：

首先将上述(1.2)步得到的只含有运动物体的图像I′_i分成M×M的不重叠的图像子块，然后将上述第二步得到的光流运动特征F_i和SIFT运动特征S_i分别分配于对应的分块后的图像子块中，并将每一子块q中的光流运动特征F_i,q和SIFT运动特征S_i,q串联成[F_i,q S_i,q]，该q＝1,2,…,M×M，得到只含有运动物体的图像I′_i中的每个图像子块的运动特征序列t_i,q＝[t_i,q,1,t_i,q,2,…,t_i,q,l]，其中i为所在帧序号，q为所在子块序号，l为第i帧第q个子块中包含光流运动特征点个数和SIFT运动特征点个数的总和，由此完成按图像子块分配运动特征；

第四步，利用最大期望EM算法训练高斯混合模型：

在上述三个步骤处理完所有输入视频图像后，将训练视频中每帧图像相应位置的子块的运动特征，包括光流运动特征F_i,q和SIFT运动特征S_i,q，按照视频序列顺序串联后得到整个视频在每个子块的运动特征序列T_q＝[t_1,q,t_2,q,…,t_N,q]，对每个子块建立R个高斯混合模型，使得每个子块对应R个高斯混合模型，用最大期望EM算法对高斯混合模型进行训练，至完成利用最大期望EM算法训练高斯混合模型；

第五步，检测人群中异常行为的图像：

将摄像头采集的待检测的含有人群的视频序列输入到计算机中，将输入的所有待检测的视频帧转化为灰度图像其中i＝1,…,N，对待检测的第i帧灰度图像由上述第一、二、三步的方法得到该图像中第q个图像子块的运动特征序列t_i,q，判断其中第j个特征t_i,q,j是否符合上述第四步中对应利用最大期望EM算法训练的子块高斯混合模型，判断公式(4)如下：

公式(4)中，m_q,r为第q个图像子块中第r个高斯模型的均值，v_q,r为第q个图像子块中第r个高斯模型的方差，对于满足上述判断公式(4)的高斯模型的t_i,q,j，则判断该特征属于正常运动特征，反之则判断为异常运动特征，统计每个图像子块中异常运动特征的个数，将图像子块中异常特征个数超过三个的图像子块判断为异常块，对该异常块进行标注，并判断该图像为人群中异常行为的图像，由此检测出人群中异常行为的图像；

至此完成人群中异常行为的检测。