[发明专利]基于多视觉特征融合的人员识别方法

摘要

一种基于多视觉特征融合的人员识别方法，先对监控视频进行分析，提取相关人员信息，并进行特征描述，最后根据输入视频图像执行寻找，得到相关人员的识别结果；包括视频跟踪处理、人体团块处理和人员识别三个操作阶段或步骤。本发明方法能够很好地从视频中自动提取合适的人员图像，并进行预处理；还针对描述特征存在的问题作了相应改进，选取比较通用的特征，且对特征进行重组，以融合成新的特征。本发明方法在去除背景部分，对人体图像进行分块和提取语义颜色特征方面都实现了创新。本发明的多次仿真实施例对监控视频的测试结果表明操作简单、便利、有效、具有良好的识别效果，因此，本发明方法具有很好的推广应用前景。

主权项

一种基于多视觉特征融合的人员识别方法，其特征在于：先对监控视频进行分析，提取相关人员信息，并进行特征描述，最后根据输入视频图像执行寻找，得到相关人员的识别结果；包括下述三个操作步骤：步骤1，视频跟踪处理阶段：先检测视频中的前景，从前景中提取运动团块，并对团块进行跟踪，检测判断新团块是否为人体团块；若是，则将人体团块所对应的人体矩形图像抠出，并保存等待后续处理；若否，则丢弃该新团块；该步骤1包括下列操作内容：(11)前景检测：从视频图像中基本不变的背景中检测出其中属于前景的像素，再把前景中的人员从图像中抠出来，以供后续处理；因某人的前景图像会多次出现于视频图像中，为将这些视频图像都对应到同一人，还要跟踪处理相应图像；所述前景是视频图像中出现的处理目标：人物或其他物体；前景检测方法是建立高斯背景模型后，对新帧图像中的所有像素进行检测与判断，如果是不符合高斯背景模型的像素，则认为是前景；(12)判别人体团块：将前景检测操作得到的所有前景像素中的相邻前景像素聚合在一起，汇集成块，每块构成一个团块；再将完成前景检测后的团块位置图中的前景像素设置为高亮，其余像素设置为暗点；搜索聚集在一起的亮点，并将其合并形成团块；删除其中面积小的团块后，根据设定的团块中心点、即质心和设定的宽高，得到每个团块或原始图像中对应的矩形图像；然后，计算每个团块矩形图像的梯度方向直方图HOG(Histogram of oriented gradients)特征，再利用由HOG特征训练的分类器判定每个矩形图像中是否有人，若其中有人，则对其执行后续处理；否则，直接剔除该团块矩形图像；(13)对团块矩形图像进行检测及跟踪：具体操作内容如下：检测团块，以剔除不符合要求的团块：用团块质心在图像中的位置记录每个团块后，对其进行检测：若该团块的宽高比很小，则其是由噪声引起的，直接剔除之；若两个团块的质心位置及其宽高比相近，则该两个团块表示同一目标，此时应将该两个团块融合成一体；跟踪团块，形成跟踪列表：检测到新团块后，若此时的跟踪列表为空，直接将其加入跟踪列表；否则，判断该新团块是否与跟踪列表中的现有团块相匹配；若匹配，表明跟踪成功；若不匹配，则将该新团块加入跟踪列表；步骤2，人体团块处理阶段：从得到的相关人员的多个团块中选择第一个团块进行处理：从视频原始图像中提取每个人员对应的矩形图像后，对该矩形图像进行处理：寻找该矩形图像中的人员前景，再用滑动窗口剔除该人体矩形图像中的背景后，对该矩形图像进行分块，分别提取表示图像中色调、饱和度和亮度三通道值的六角锥体色彩模型HSV颜色直方图、全局最大三维颜色图中的三维颜色、分块语义颜色和纹理方向向量共四种特征向量，并存储于人体视频特征数据库中，以供利用这些特征的融合描述每个人员和进行人员识别；该步骤2包括下述两个操作内容：(21)利用滑动窗口去除视频图像的背景，并对前景中的人体图像分块；(22)提取和存储分块人体图像的全局颜色直方图、全局最大三维颜色、分块语义颜色和纹理方向向量共4种特征向量；步骤3，人员识别阶段：输入待检测人员视频图像，并从该待检测人员视频图像提取步骤2中的四种特征向量后，以该四种特征向量与人体视频特征数据库中存储的每个人员特征向量逐一进行对比，寻求各个特征向量之间的距离最小的人员，作为所识别的人员及其相应的视频信息；该步骤3包括下列操作内容：(31)按照步骤2的操作方法，提取待检测人员M的四种特征向量；此时，已经检测的人员视频图像集合A＝{H1,H2,...,Hi,...,HN}，其中，第i个人员图像Hi的头部、躯干和下肢三部位的四种特征向量都已存储于人体视频特征数据库；(32)分别计算待检测人员M与人体视频特征数据库中每个人员Hi对应的四种特征向量的归一化的欧式距离；(33)按照公式Di＝αDi1+βDi2+γDi3+δDi4计算待检测人员M与该特征数据库中每个人员Hi的距离Di；其中，α、β、γ和δ分别是上述四种特征向量的权重系数，且α+β+γ+δ＝1；该步骤的操作内容是对步骤(32)的计算结果的加权，用于计算待检测人员与特征数据库中每个人员之间的相似度；(34)将步骤(33)计算得到的距离Di(i＝1,2,....N)按照从小到大升序排列，其中排列越靠前的人员，最有可能是与待检测人员相似或相同的人员；这样就完成了对监控视频基于多视觉特征融合的人员识别功能。