[发明专利]基于机器视觉的乘客行为监控方法

权利要求书

1.基于机器视觉的乘客行为监控方法，其特征在于：该方法检测并跟踪搭乘手扶电梯的乘客人脸目标，基于人脸目标信息进行行为监控，包括以下步骤：

1)乘客搭乘手扶电梯视频图像采集；

2)提取可变形组件模型DPM特征描述乘客人脸；

3)利用支持向量机SVM对手扶电梯乘客人脸进行检测；

4)利用核相关滤波KCF对手扶电梯乘客人脸进行跟踪；

5)使用一种改进的最近邻匹配方法匹配人脸检测与跟踪结果，具体如下：

当新乘客进入扶梯后，检测得到乘客人脸，然后利用步骤4)的KCF跟踪器对人脸检测目标进行持续跟踪，每隔一段时间，利用步骤2)提取图像的DPM特征，然后利用步骤3)的SVM分类器重新进行人脸检测矫正人脸跟踪目标，消除累积跟踪误差，再继续对矫正后的目标进行持续跟踪，重复该过程，直至乘客离开扶梯或发生异常行为，该乘客跟踪过程结束，在跟踪过程中，扶梯乘客跟踪是多目标跟踪，需要对前后两帧的对应乘客跟踪目标进行匹配，确定前后两帧同一个乘客目标，对乘客进行跟踪，在进行乘客人脸检测时，也需要对检测目标与跟踪目标进行匹配，矫正乘客跟踪目标的位置；

改进的最近邻目标匹配是对待匹配序列中的每个目标，分别基于欧氏距离匹配原有序列中与其最近邻的目标，进而得到待匹配序列和原有序列成功匹配的目标数，假设待匹配序列为：

其中，a_m为第m个元素，元素个数为M_a，原有序列为：

其中，b_n为第n个元素，元素个数为N_b，计算待匹配序列的每一个目标a_m到原有序列中所有目标的欧氏距离，找到a_m的最近邻目标b_n，若两者距离dist(a_m,b_n)满足：

dist(a_m,b_n)≤distT

其中，distT是自适应阈值，为两个目标平均长度乘上0.6，则a_m成功匹配b_n，否则，a_m匹配失败，通过最近邻目标匹配后，待匹配序列的匹配成功目标数ML和原有序列的匹配成功目标数NL存在两种情况，若ML等于NL，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝ML＝NL，若ML大于NL，待匹配序列中多个目标重复匹配原有序列中的同一个目标，应当从待匹配序列多个匹配目标中选出与原有序列匹配目标距离最近的一个目标，保持匹配状态，并取消其余目标的匹配状态，若两者距离相等，则保持检测置信度高的那个目标的匹配状态，并删除另一个目标，修正后，待匹配序列和原有序列成功匹配的目标一一对应，匹配目标数L＝NL；

6)建立人脸目标检测强度模型，修正人脸检测结果，具体如下：

运动目标检测强度衡量乘客跟踪过程中，运动目标被检测为乘客人脸的可能性，该值越大，运动目标是乘客人脸的可能性越大，每帧更新运动目标检测强度，根据当前帧是否进行人脸检测，分两种情况进行讨论，当进行人脸检测时，以长度为M的人脸跟踪目标序列为待匹配序列，长度为N的人脸检测目标序列为原有序列，进行最近邻目标匹配，将人脸跟踪目标序列中匹配成功的L个目标位置更新为对应的L个检测目标位置并提高其检测强度，再降低匹配失败的M-L个目标的检测强度，并保持其位置不变，最后将人脸检测目标序列中匹配失败的N-L个目标作为新目标添加到人脸跟踪目标序列并赋予初始的检测强度，当进行人脸跟踪时，以当前帧人脸跟踪目标序列为待匹配序列，上一帧人脸跟踪目标序列为原有序列，进行最近邻目标匹配，将上一帧匹配失败的N-L个目标添加到当前帧人脸跟踪目标序列并保持其位置不变，若当前帧的跟踪目标位置与前5帧的跟踪目标位置小于滞留阈值，则代表跟踪的是背景而不是运动的乘客，则降低目标的检测强度，最后，判断乘客的人脸检测置信度是否小于删除阈值，若是，则将该乘客删除，修正人脸检测结果，按以下公式更新运动目标的检测强度：

CF_i＝CF_i-1+FD²-NFD³-0.1×NFT

其中，CF_i和CF_i-1分别是乘客目标在第i帧和第i-1帧的检测强度，运动目标被连续检测的帧数为FD，连续未被检测的帧数为NFD，连续未被跟踪的帧数为NFT；

7)通过分析乘客检测强度、速度大小和速度方向，监控手扶电梯中乘客的行为。