[发明专利]一种基于自注意力机制的多模态LSTM的视频动作预测方法在审
| 申请号： | 202010738071.7 | 申请日： | 2020-07-28 |
| 公开（公告）号： | CN111914731A | 公开（公告）日： | 2020-11-10 |
| 发明（设计）人： | 邵洁;莫晨 | 申请（专利权）人： | 上海电力大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 上海科盛知识产权代理有限公司 31225 | 代理人： | 孙永申 |
| 地址： | 200090 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于自注意力机制的多模态LSTM的视频动作预测方法，该方法包括以下步骤：步骤1：准备训练数据集并针对原视频进行预处理得到RGB图片和光流图片；步骤2：基于RGB图片和光流图片通过TSN网络提取RGB特征和光流特征，基于训练数据集通过Faster‑RCNN目标检测器得到与目标检测相关的特征；步骤3：建立基于自注意力机制的多模态LSTM网络模型，并将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至该网络模型中训练，输出各自对应的动作种类分布张量；步骤4：建立融合网络为动作种类分布张量分配权重并与动作种类分布张量相结合得到最终视频动作预测结果。与现有技术相比，本发明具有准确率高，解决了较长的动作预测时间效果不佳的缺陷。 | ||
| 搜索关键词： | 一种 基于 注意力 机制 多模态 lstm 视频 动作 预测 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海电力大学，未经上海电力大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010738071.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种纯电动卡车气制动供能管路系统及其控制方法
- 下一篇：显示屏模块的制备方法
