[发明专利]一种从视频中自动识别人体行为的方法在审
申请号: | 201910415244.9 | 申请日: | 2019-05-17 |
公开(公告)号: | CN110163144A | 公开(公告)日: | 2019-08-23 |
发明(设计)人: | 张朝龙;许源平;许志杰;曹衍龙;何嘉 | 申请(专利权)人: | 成都信息工程大学;许源平;张朝龙;许志杰;曹衍龙;何嘉 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06T7/246 |
代理公司: | 成都智弘知识产权代理有限公司 51275 | 代理人: | 丁亮;陈春 |
地址: | 610000 四川省成都*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 底层特征 特征编码 人体行为 自动识别 视频 人体行为识别 多尺度特征 原始视频帧 理论设计 缺失频率 人体运动 时间特征 时间信息 视觉单词 小波变化 小波分析 运动视频 贡献度 相似度 有效地 正确率 构建 尺度 分解 引入 申请 表现 统计 | ||
1.一种从视频中自动识别人体行为的方法,其特征在于,所述方法包括:
将从视频图像中获取的原始视频帧分解到不同尺度上并进行小波变换分解;
分别对多尺度分解后的视频帧和小波分解后的视频帧进行密集采样获取视频帧中的特征点;
在不同尺寸、频率和方向上分别追踪每个所述特征点,获得密集轨迹;
根据每个轨迹和每个轨迹对应的STV时空体数据确定底层特征;
分别对所述底层特征进行BoF编码和BoTF编码,所述BoF编码确定底层特征的统计分布,所述BoTF编码实现对底层特征的时间信息的编码;
将所述BoF编码和BoTF编码后的底层特征进行加权特征融合,确定所述视频信息中的人体行为信息。
2.根据权利要求1所述的从视频中自动识别人体行为的方法,其特征在于,所述将从视频图像中获取的原始视频帧分解到不同尺度上并进行小波变换分解,包括:
通过网格划分的方式将原始视频帧划分到多个尺度下;
使用离散小波对所述多尺度分解后的视频帧进行小波变换分解。
3.根据权利要求1所述的从视频中自动识别人体行为的方法,其特征在于,所述分别对多尺度分解后的视频帧和小波分解后的视频帧进行密集采样获取视频帧中的特征点,包括:
在所述多尺度分解后的视频帧和所述小波分解后的视频帧上划分W×W(W=5)的窗口;
然后在每一个窗口上选择一个像素点作为特征点,其中:为了去除缺乏变化的区域中的特征点,该步骤中计算每个特征点自相关的特征值,并设置阈值去除无效的特征点。
4.根据权利要求1所述的从视频中自动识别人体行为的方法,其特征在于,所述在不同尺寸、频率和方向上分别追踪每个所述特征点,获得密集轨迹,包括:对于每一个特征点,使用中值滤波在密集光流场下计算下一帧所匹配的特征点,当特征点连续追踪到一定数目的视频帧时,获得所述密集轨迹。
5.根据权利要求4所述的从视频中自动识别人体行为的方法,其特征在于,所述根据每个轨迹和每个轨迹对应的STV时空体数据确定底层特征,包括:
根据每个轨迹建立与所述轨迹对齐的所述STV时空体数据;
根据每个轨迹和每个轨迹对应的STV时空体数据分别确定轨迹形状TS特征、方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征。
6.根据权利要求5所述的从视频中自动识别人体行为的方法,其特征在于,所述分别对所述底层特征进行BoF编码和BoTF编码包括:
BoF编码:采用软分类方法,把所述TS特征、HOG特征、HOF特征和MBH特征分别分配到top-N个视觉单词上,将每个特征与目标视觉单词的相似度作为贡献权重;
BoTF编码:使用图相关理论构建BoTF编码模型,然后利用BoTF编码模型对所述TS特征、HOG特征、HOF特征和MBH特征进行编码。
7.根据权利要求6所述的从视频中自动识别人体行为的方法,其特征在于,所述将所述BoF编码和BoTF编码后的底层特征进行加权特征融合,确定所述视频图像中的人体行为信息包括:
将所述BoF编码和BoTF编码后的底层特征融合为一个最终的视频特征描述,fv=[λBoF,μBoTF];其中,λ和μ分别代表BoF和BoTF的权重,fv代表最终的融合特征描述。
8.根据权利要求5所述的从视频中自动识别人体行为的方法,其特征在于,所述根据每个轨迹和每个轨迹对应的STV时空体数据分别确定轨迹形状TS特征、方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征,包括:
确定轨迹形状TS特征:
方向梯度直方图HOG特征、光流直方图HOF特征和运动边界直方图MBH特征:
其中,w代表光流场,w′x表示x方向的运动边界,w′y为y方向上的运动边界,(xt,yt)为光流场中x方向和y方向上坐标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都信息工程大学;许源平;张朝龙;许志杰;曹衍龙;何嘉,未经成都信息工程大学;许源平;张朝龙;许志杰;曹衍龙;何嘉许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910415244.9/1.html,转载请声明来源钻瓜专利网。