[发明专利]一种人体动作识别方法

权利要求书

1.一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法，其特征在于，主要包括以下步骤：

1)输入所述视频流；

2)计算输入视频的光流场并进行特征点采样，提取稠密特征点；

提取稠密特征点的主要步骤如下：

2.1)对输入视频进行光流计算，得到光流梯度幅值的运动边界；

2.2)在光流计算中，对运动边界设定阈值形成一个“掩膜”并进行稠密采样；

掩膜MB(I,J)如下所示：

式中，T^u和T^v分别为光流场在水平方向u和垂直方向v的分量；T^ω为二维光流图；为光流的分量u对v求导得到的值；为光流的分量v对v求导得到的值；为光流的分量v对u求导得到的值；为光流的分量u对u求导得到的值；max表示最大值；Ostu(*)表示取(*)的最大类间方差；

其中，二维光流图T^ω如下所示：

T^ω＝(T^u,T^v)； (2)

式中，T^u和T^v分别为光流场在水平方向u和垂直方向v的分量；ω为水平方向u和垂直方向v所在的平面；

其中，光流场ω如下所示：

ω＝(u,v)； (3)

式中，u为光流场水平方向；v为光流场垂直方向；

光流场在水平方向u的分量T^u对v求导得到的值如下所示：

式中，v为光流场垂直方向；T^u表示光流场在水平方向u的分量；

光流场在垂直方向v的分量T^v对v求导得到的值如下所示：

式中，v为光流场垂直方向；T^v为光流场在垂直方向v的分量；

光流场在垂直方向v的分量T^v对u求导得到的值如下所示：

式中，u为光流场水平方向；T^v为光流场在垂直方向v的分量；

光流场在水平方向u的分量T^u对u求导得到的值如下所示：

式中，u为光流场水平方向；T^u表示光流场在水平方向u的分量；

2.3)通过“掩膜”来保留稠密采样中具有判别性、有效的采样点；

2.4)将位于掩膜内的稠密采样点记为稠密特征点；

3)依据设定的视频帧数，计算特征点的轨迹；

4)沿所述特征点轨迹计算稠密描述符HOG、稠密描述符HOF、稠密描述符MBH和稠密描述符Traj；稠密描述符MBH包括MBHx和MBHy两个分量；

稠密描述符HOG主要描述静态外观信息；稠密描述符HOF描述局部运动信息；稠密描述符MBHx描述光流梯度在x方向上的移动信息；稠密描述符MBHy描述光流梯度在y方向上的移动信息；稠密描述符Traj主要描述轨迹的长度和位移信息；

5)对相邻两帧视频图像在时间上求导，得到时序上的运动图像；计算所述时序上的运动图像的空间梯度，从而得到运动梯度描述符HMG；

6)利用FV编码分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG进行特征编码；

7)分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符HMG作正则化处理；正则化处理后，将稠密描述符和运动梯度描述符以串联形式相连接形成特征向量；

特征融合的主要步骤如下：

7.1)利用主成分分析法分别对稠密描述符HOG、稠密描述符HOF、稠密描述符MBHx、稠密描述符MBHy、稠密描述符Traj和运动梯度描述符进行降维；

7.2)利用Fisher Vector分别对各个描述符进行特征编码，并采用L2正则化对Fisher向量进行归一化处理；

7.3)将各个描述符的Fisher向量以串联的形式相连接形成一组特征向量，得到新的特征描述符IDT-MB+HMG；

IDT-MB+HMG描述符的构成形式：

IDT-MB+HMG:{HOG,HOF,MBHx,MBHy,Traj,HMG}； (8)

式中，稠密描述符HOG主要描述静态外观信息；稠密描述符HOF描述局部运动信息；稠密描述符MBHx描述光流梯度在x方向上的移动信息；稠密描述符MBHy描述光流梯度在y方向上的移动信息；稠密描述符Traj主要描述轨迹的长度和位移信息；运动梯度描述符HMG描述动作信息在时间和空间位置的内在关联；

7.4)将特征描述符IDT-MB+HMG作为线性支持向量机分类器的输入；

8)利用线性支持向量机对特征融合得到的特征向量进行训练和学习，得到人体动作识别模型；

9)利用所述人体动作识别模型对人体动作进行识别。