[发明专利]一种从视频中自动识别人体行为的方法

权利要求书

1.一种从视频中自动识别人体行为的方法，其特征在于，所述方法包括：

将从视频图像中获取的原始视频帧分解到不同尺度上并进行小波变换分解；

分别对多尺度分解后的视频帧和小波分解后的视频帧进行密集采样获取视频帧中的特征点；

在不同尺寸、频率和方向上分别追踪每个所述特征点，获得密集轨迹；

根据每个轨迹和每个轨迹对应的STV时空体数据确定底层特征；

分别对所述底层特征进行BoF编码和BoTF编码，所述BoF编码确定底层特征的统计分布，所述BoTF编码实现对底层特征的时间信息的编码；

将所述BoF编码和BoTF编码后的底层特征进行加权特征融合，确定所述视频信息中的人体行为信息。

2.根据权利要求1所述的从视频中自动识别人体行为的方法，其特征在于，所述将从视频图像中获取的原始视频帧分解到不同尺度上并进行小波变换分解，包括：

通过网格划分的方式将原始视频帧划分到多个尺度下；

使用离散小波对所述多尺度分解后的视频帧进行小波变换分解。

3.根据权利要求1所述的从视频中自动识别人体行为的方法，其特征在于，所述分别对多尺度分解后的视频帧和小波分解后的视频帧进行密集采样获取视频帧中的特征点，包括：

在所述多尺度分解后的视频帧和所述小波分解后的视频帧上划分W×W(W＝5)的窗口；

然后在每一个窗口上选择一个像素点作为特征点，其中：为了去除缺乏变化的区域中的特征点，该步骤中计算每个特征点自相关的特征值，并设置阈值去除无效的特征点。

4.根据权利要求1所述的从视频中自动识别人体行为的方法，其特征在于，所述在不同尺寸、频率和方向上分别追踪每个所述特征点，获得密集轨迹，包括：对于每一个特征点，使用中值滤波在密集光流场下计算下一帧所匹配的特征点，当特征点连续追踪到一定数目的视频帧时，获得所述密集轨迹。

5.根据权利要求4所述的从视频中自动识别人体行为的方法，其特征在于，所述根据每个轨迹和每个轨迹对应的STV时空体数据确定底层特征，包括：

根据每个轨迹建立与所述轨迹对齐的所述STV时空体数据；

根据每个轨迹和每个轨迹对应的STV时空体数据分别确定轨迹形状TS特征、方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征。

6.根据权利要求5所述的从视频中自动识别人体行为的方法，其特征在于，所述分别对所述底层特征进行BoF编码和BoTF编码包括：

BoF编码：采用软分类方法，把所述TS特征、HOG特征、HOF特征和MBH特征分别分配到top-N个视觉单词上，将每个特征与目标视觉单词的相似度作为贡献权重；

BoTF编码：使用图相关理论构建BoTF编码模型，然后利用BoTF编码模型对所述TS特征、HOG特征、HOF特征和MBH特征进行编码。

7.根据权利要求6所述的从视频中自动识别人体行为的方法，其特征在于，所述将所述BoF编码和BoTF编码后的底层特征进行加权特征融合，确定所述视频图像中的人体行为信息包括：

将所述BoF编码和BoTF编码后的底层特征融合为一个最终的视频特征描述，fv＝[λBoF，μBoTF]；其中，λ和μ分别代表BoF和BoTF的权重，fv代表最终的融合特征描述。

8.根据权利要求5所述的从视频中自动识别人体行为的方法，其特征在于，所述根据每个轨迹和每个轨迹对应的STV时空体数据分别确定轨迹形状TS特征、方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征，包括：

确定轨迹形状TS特征：

方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征：

其中，w代表光流场，w′_x表示x方向的运动边界，w′_y为y方向上的运动边界，(x_t，y_t)为光流场中x方向和y方向上坐标。