[发明专利]基于合成描述子的人体动作识别方法及系统

摘要

本发明公开了一种基于合成描述子的人体动作识别方法及系统，涉及计算机视觉和视频监控领域。本发明首次提出“合成描述子”这个概念，提取视频中位于不同时间点上的信息，合成到一帧图像上，得到合成描述子。合成描述子有三种图像合成描述子、累积梯度合成描述子、光流合成描述子。提取视频的三种合成描述子后，分别计算这三种合成描述子的局部特征和全局特征。在人体动作识别的过程中，使用这三种合成描述子的局部特征和全局特征来表征人体的动作。与现有技术运算量较大且不包含全局信息相比，本发明不仅能从视频中提取三种合成描述子的局部特征和全局特征，而且运算量较小，能够快速识别人体动作。

主权项

一种基于合成描述子的人体动作识别方法，其特征在于，包括以下步骤：A、提取所有视频的三种合成描述子：视频分为训练视频和待识别视频，对于每一个视频，提取该视频中位于不同时间点上的信息，组合成一幅图像，得到该视频的合成描述子；合成描述子有三种：图像合成描述子、累积梯度合成描述子、光流合成描述子；在人体动作的识别过程中，使用这三种合成描述子的局部特征和全局特征来表征人体的动作，这三种合成描述子的局部特征和全局特征互为补充；B、计算待识别视频的三种合成描述子的局部特征的支持向量机SVM分数；C、计算待识别视频的三种合成描述子的全局特征的SVM分数；D、根据待识别视频的三种合成描述子的局部特征的SVM分数、全局特征的SVM分数得到综合分数，再根据综合分数得到待识别视频中人体动作的识别结果；步骤A中提取视频的图像合成描述子的过程为：对视频进行时间采样，得到16帧不同的图像；再将这16帧不同的图像依次排列成4行4列，组合成一帧图像，得到该视频的图像合成描述子；步骤A中提取视频的累积梯度合成描述子的过程为：对视频进行时间采样，得到16个不同的图像序列片段，这16个图像序列片段中心位置的图像位于视频的16个等间隔的时间节点，每个图像序列片段由视频中相邻的8帧图像组成；对于每个图像序列片段，计算该图像序列片段中每一帧图像的梯度，累积到一帧中，得到累积梯度图像；有16个图像序列片段，共得到16帧累积梯度图像；将16帧累积梯度图像，依次排列成4行4列，组合成一帧图像，得到该视频的累积梯度合成描述子；所述累积梯度图像的计算过程如下：步骤101、图像序列片段中包括若干帧图像，图像序列片段中所有图像的梯度图都累积到一帧图像上得到的累积梯度图像为H(x,y,t)，x为点(x,y)的横坐标，y为点(x,y)的纵坐标，t为时间，累积梯度图像H(x,y,t)的尺寸与图像序列片段中原始图像的大小相等；初始化累积梯度图像H(x,y,t)，将累积梯度图像H(x,y,t)的全部像素置为0，此时时间t为0；将图像序列片段中的第一帧作为当前帧I(x,y)；步骤102、计算当前帧I(x,y)的梯度图像幅值G(x,y)；t‑1时刻的累积梯度图像为H(x,y,t‑1)，将G(x,y)与H(x,y,t‑1)在每一个像素点上进行比较，取灰度值较大的像素点的灰度值作为H(x,y,t)的新值；在点(x,y)处，t时刻的累积梯度图像H(x,y,t)＝max[H(x,y,t‑1)，G(x,y)]；步骤103、将下一帧作为当前帧，返回步骤102，直到图像序列片段的最后一帧；步骤A中提取视频的光流合成描述子的过程为：对视频进行时间采样，得到16对相邻的图像序列对，共计32帧图像，计算这16对图像序列对的光流图像，得到16帧光流图像X分量和16帧光流图像Y分量；将16帧光流图像X分量依次排列成4行4列，组合成一帧图像，得到光流X分量合成描述子；将16帧光流图像Y分量依次排列成4行4列，组合成一帧图像，得到光流Y分量合成描述子；光流X分量合成描述子和光流Y分量合成描述子共同构成该视频的光流合成描述子。