[发明专利]基于时间域-空间域特征联合增强的步态识别方法与系统

说明书

本发明公开了一种基于时间域‑空间域特征联合增强的步态识别方法，对待检测步态序列，先使用卷积神经网络提取序列特征表达，再自适应地捕捉显著的空域特征，最后分别进行空间域与时间域的建模。自适应显著性特征生成模块可灵活地提取来自不同身体区域的突出特征，有效地丰富特征的多样性与显著性。基于这样的多区域显著性特征，本发明，分别对输入步态序列进行空间域与时间域的建模，通过联合优化，输出空间域‑时间域联合增强的步态特征。本方法在不同场景下的精度高、鲁棒性强，能有效克服由于行人携带不同物品或穿着不同衣物产生的外观变化所导致的不利因素。本发明还提供了相应的基于时间域‑空间域特征联合增强的步态识别系统。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于时间域-空间域特征联合增强的步态识别方法与系统。

背景技术

步态识别在人们的日常生活有许多方面的应用，如智能安防、公共安全、行人识别等。步态识别研究的是如何依赖行人行走的步态序列对行人身份进行识别。

目前的步态识别方案通常是要么主要关注时域信息建模、要么主要关注空域信息建模。由于这些方法没有联合考虑时间域-空间域特征增强的建模，因此无法很好地适应实际场景(跨视角、换装)的应用。另一方面，由于没有对细粒度的显著性特征进行捕捉，这些方法对于特征相近的不同行人序列会判断出错。

因此需要设计一种步态识别特征建模方案，不仅能够联合时间域-空间域的建模，还能够提取出细粒的步态特征，使得网络能够适应多变的应用场景同时对近似的步态序列更具识别力。

发明内容

本发明的目的在于提供一种基于时间域-空间域特征联合增强的步态识别方法，该方法不仅能够联合时间域-空间域的建模，还能够提取出细粒的步态特征，使得网络能够适应多变的应用场景同时对更好地分辨近似的步态序列。

为实现上述目的，按照本发明的一个方面，提供了一种基于时间域-空间域特征联合增强的步态识别方法，包括下述步骤：

(1)特征提取：

(1.1)对每个输入步态序列，首先截取一段长度为40帧的序列片段，然后对该片段随机不重复地采样30帧；

(1.2)对每个采样位置，进行高维特征的提取，首先选取采样位置的1帧图片作为原始数据，然后将原始数据送到特征提取网络中进行特征提取，得到深度特征表达，得到深度特征表达。

具体地，对于输入的步态序列图像，采用六层的卷积神经网络作为特征提取网络，其中前两层卷积网络的输出通道均为32，第三层是步长为2的最大池化(max pooling)层，第四、五、六卷积层的输出特征通道数分别为：64、64、128；

(2)训练显著性特征生成器：

(2.1)采用三组卷积核处理来自步骤(1.2)的深度特征输表达，得到三组输出特征；

(2.2)接收步骤(2.1)的三组输出特征，监督不同组特征关注不同的空域显著性区域，并输出空域重叠惩罚(Overlapped Activation Penalty)损失函数值L_oap；

具体地，监督三组输出特征关注不同的空域区域，首先应用均值池化(GlobalAverage Pooling，GAP)与最大值池化(Global Max Pooling，GMP)进行通道压缩，对每个已压缩的特征图取第K大的值作为Sigmoid函数的阈值进行激活，此处取K＝15，Sigmoid函数定义式为将这三组被激活的特征按元素相乘、累加，得到空域重叠惩罚(Overlapped Activation Penalty，OAP)损失函数值L_oap；