[发明专利]一种从视频中自动识别人体行为的方法

说明书

本申请公开了一种从视频中自动识别人体行为的方法及装置，引入小波分析理论，把原始视频帧分解到不同的频率和方向上，从而可以方便地从不同频率和方向上提取人体运动底层特征。使用相似度来表示贡献程度，从而可以避免因BoF码书的尺度不同而导致错误的指定方式，也可以表现不同底层特征对同一个视觉单词统计的贡献度。构建的BoTF特征编码方式可以有效地对底层特征的时间信息进行编码，从而克服BoF编码无序的缺点。基于小波变化和图相关理论设计一个多尺度特征提取和特征编码方法，解决DT方法缺失频率和方向以及BoF特征编码模型缺乏时间特征的问题，从而可以处理复杂的运动视频，并大大提高人体行为识别的正确率。

技术领域

本申请涉及人体行为识别技术领域，具体涉及一种从视频中自动识别人体行为的方法及装置。

背景技术

目前，智能视频监控技术在智能安防和公共安全领域都具有重要的应用价值。智能视频监控技术是一个跨领域的应用研究，人体行为识别是其中一个重要的研究内容，而从监控视频中自动提取人体行为运动特征是其中关键的技术点。

传统的运动底层特征自动提取主要包括尺度不变特征变换(Scale-InvariantFeature Transform，SIFT)、Harris角点检测、时空体数据(Spatial Temporal Volume，STV)特征和密集轨迹追踪(Dense Trajectories，DT)等特征提取方法。DT是目前广泛使用的一种运动特征提取方法。该方法通过追踪各个尺度下的特征点生成运动轨迹，再根据这些轨迹提取运动底层特征，包括：轨迹形状(Trajectory Shapes，TS)、方向梯度直方图(Histogram of Oriented Gradients，HOG)、光流直方图(Histogram of Optical Flows，HOF)和运动边界直方图(Motion Boundary Histogram，MBH)。然后，使用视觉词袋模型(Bagof Features，BoF)对底层特征进行编码，生成运动特征描述。最后使用通用的机器学习分类器支持向量机(Support Vector Machine，SVM)进行人体行为分类。

当前，DT方法还存在以下问题，在底层特征提取的时候，缺少对图像信号频率和运行方向信息的提取，导致这两方面的特征信息丢失。而且由于生成的轨迹只包含非常短的时间信息，且BoF把底层特征编码为无序的特征描述，丢失了大量的人体运动时序信息，从而导致无法提取执行时间较长或与执行顺序非常相关的动作行为。以上缺点导致现有的方法无法提取复杂的人体运动行为特征，进而导致当前人体行为智能识别系统的正确识别率偏低。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种从视频中自动识别人体行为的方法，所述方法包括：将从视频图像中获取的原始视频帧分解到不同尺度上并进行小波变换分解；分别对所述多尺度分解后的视频帧和小波分解后的视频帧进行密集采样获取视频帧中的特征点；在不同尺寸、频率和方向上分别追踪每个所述特征点，获得密集轨迹；根据每个轨迹和每个轨迹对应的STV时空体数据确定底层特征；分别对所述底层特征进行BoF编码和BoTF编码，所述BoF编码确定底层特征的统计分布，所述BoTF编码实现对底层特征的时间信息的编码；将所述BoF编码和BoTF编码后的底层特征进行加权特征融合，确定所述视频图像中的人体行为信息。

采用上述实现方式，引入小波分析理论，把多尺度分解后的视频帧分解到不同的频率和方向上，从而可以方便地从不同频率和方向上提取人体运动底层特征。使用相似度来表示贡献程度，从而可以避免因BoF码书的尺度不同而导致错误的指定方式，也可以表现不同底层特征对同一个视觉单词统计的贡献度。

构建的BoTF特征编码方式可以有效地对时间特征进行编码，从而克服BoF编码无序的缺点。基于小波变化和图相关理论设计一个多尺度特征提取和特征编码方法，解决DT方法缺失频率和方向以及BoF特征编码模型缺乏时间特征的问题，从而可以处理复杂的人体运动视频，并大大提高人体行为识别的正确率。