[发明专利]多特征融合的人体行为识别方法

摘要

一种多特征融合的人体行为识别方法，利用摄像头采集人体行为视频，提取每帧图像的前景图并进行空洞填充与干扰滤除，获得人体剪影图像序列；计算图像序列中相邻帧间相似度，获得表征行为姿态的每帧图像权重；根据人体剪影图像序列中每帧图像及其对应权重，通过加权平均获得表征行为过程的动作能量图；提取动作能量图的Zernike矩、灰度直方图和纹理特征，形成包含行为时空特性的多维特征融合向量。构建不同标准行为的特征向量模板库；在行为识别过程中根据待识别视频提取待识别行为的特征向量，将待识别行为特征向量与标准行为模板库特征向量逐一匹配，根据匹配结果确定行为类别，实现人体行为的准确识别。本发明通过构建动作能量图来表征人体行为的时间变化和空间姿态特征，可提高行为识别准确率和实时性，具有一定的实用价值。

主权项

1.一种多特征融合的人体行为识别方法，其特征在于包括：利用摄像头采集人体行为视频，提取视频中的行为图像序列帧，并进行降噪预处理，增强图像质量；提取行为图像序列中每帧图像的前景图，利用形态学和区域生长法对人体局部缺失凹陷区域进行空洞填充与干扰区域滤除，获得人体剪影图C_i,i∈[0,K‑1]，K为人体剪影图像序列帧数；计算行为过程中的人体剪影图像序列C＝{C₀,…,C_i,…,C_K‑1}中相邻帧间的相似度α_i(α_i∈[0,1])，根据相似度获得表征行为姿态的每帧图像的权重并归一化，形成人体剪影图像序列所对应的权重向量a＝{λ₀,…,λ_i,…λ_K‑1},i∈[0,K‑1]；根据人体剪影图像序列C及其对应的权重向量a，通过加权平均，获得可表征整个行为过程的动作能量图E；根据动作能量图提取11种图像特征，包括Zernike矩特征、灰度直方图特征、纹理特征的能量属性、对比度属性和熵值属性，形成表征行为的多维特征融合向量F；设N种标准行为动作，采用以上步骤方法构建标准行为的特征模板库在行为识别过程中，根据待识别视频提取待识别人体行为的特征向量F_d；采用距离度量算法，对待识别行为特征融合向量F_d与标准行为特征模板库中的特征融合向量进行依次匹配识别，获得待识别行为与标准行为模板的相似度即通过相似度排序优选出相似度最高值，从而实现人体行为的准确识别。