[发明专利]基于局部特征聚合编码和长短期记忆网络的行为识别方法在审
| 申请号： | 201910443352.7 | 申请日： | 2019-05-27 |
| 公开（公告）号： | CN110188653A | 公开（公告）日： | 2019-08-30 |
| 发明（设计）人： | 李春国;常颖;徐琴珍;杨绿溪 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/04 |
| 代理公司： | 南京众联专利代理有限公司 32206 | 代理人： | 蒋昱 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于局部特征聚合编码和长短期记忆网络的行为识别方法包括如下步骤：(1)对视频稀疏采样，得到用于学习行为时空特征的有序帧序列；(2)使用卷积神经网络提取图片特征；(3)使用VLAD层对图像局部特征编码，生成图像的全局特征向量；(4)使用长短期记忆网络学习帧间时序关系，生成视频的整体描述向量；(5)使用分类层得到当前输入视频中的动作行为属于数据集中各个类别的概率值；(6)在UCF101和something‑something数据集上对网络进行训练和测试，优化网络参数。本发明使用卷积神经网络提取单帧视频RGB图像的局部特征后，使用局部特征聚合编码得到图像全局特征，接着使用长短期记忆网络学习帧间上下文，充分学习行为的时空特征，有效地提高分类的准确度。 | ||
| 搜索关键词： | 记忆网络 局部特征 聚合 卷积神经网络 视频 时空特征 行为识别 帧间 学习 全局特征向量 图像局部特征 准确度 动作行为 生成图像 时序关系 输入视频 数据集中 图片特征 图像全局 网络参数 稀疏采样 整体描述 数据集 有效地 帧序列 分类 单帧 向量 测试 概率 优化 网络 | ||
【主权项】：
1.基于局部特征聚合编码和长短期记忆网络的行为识别方法，包括以下步骤，其特征在于：(1)对视频稀疏采样，得到用于学习行为时空特征的有序帧序列；(2)使用卷积神经网络提取图片特征；(3)使用VLAD层对图像局部特征编码，生成图像的全局特征向量；(4)使用长短期记忆网络学习帧间时序关系，生成视频的整体描述向量；(5)使用分类层得到当前输入视频中的动作行为属于数据集中各个类别的概率值；(6)在UCF101和something‑something数据集上进行网络的训练与测试。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910443352.7/，转载请声明来源钻瓜专利网。
