[发明专利]基于多模态双流3D网络的视频人体行为识别方法及系统在审
| 申请号： | 201910936088.0 | 申请日： | 2019-09-29 |
| 公开（公告）号： | CN110705463A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 马昕;武寒波;宋锐;荣学文;田国会;李贻斌 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06N3/04 |
| 代理公司： | 37221 济南圣达知识产权代理有限公司 | 代理人： | 董雪 |
| 地址： | 250061 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多模态双流3D网络的视频人体行为识别方法及系统，包括：基于深度视频生成的深度动态图序列DDIS；基于RGB视频生成的姿势评估图序列PEMS；将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；将得到的分类结果进行融合，得到最终的行为识别结果。本发明有益效果：DDIS通过对视频的局部时空结构信息进行建模，能够很好地描述长时行为视频中的人体运动以及交互物体的轮廓。PEMS能够清晰地捕捉人体姿态的变化，消除背景杂乱的干扰。多模态双流3D网络架构能够有效建模行为视频在不同数据模态下的全局时空动态，具有优越的识别性能。 | ||
| 搜索关键词： | 视频 分类结果 动态图 多模态 图序列 建模 双流 姿势 卷积神经网络 人体行为识别 行为识别结果 人体运动 人体姿态 深度视频 时空动态 时空结构 识别性能 数据模态 网络架构 评估 长时 捕捉 清晰 融合 全局 网络 | ||
【主权项】：
1.一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，包括：/n基于深度视频生成的深度动态图序列DDIS；/n基于RGB视频生成的姿势评估图序列PEMS；/n将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；/n将得到的分类结果进行融合，得到最终的行为识别结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910936088.0/，转载请声明来源钻瓜专利网。
