[发明专利]一种基于双向循环神经网络和深度输出的视频描述生成方法有效
| 申请号： | 201910632009.7 | 申请日： | 2019-07-12 |
| 公开（公告）号： | CN110418210B | 公开（公告）日： | 2021-09-10 |
| 发明（设计）人： | 董林滔;黄永明 | 申请（专利权）人： | 东南大学 |
| 主分类号： | H04N21/84 | 分类号： | H04N21/84;H04N21/466;G06N3/04 |
| 代理公司： | 南京众联专利代理有限公司 32206 | 代理人： | 杜静静 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于双向循环神经网络和深度输出的视频描述生成方法。该方法主要内容是：首先对视频进行等间隔抽帧处理，再使用卷积神经网络对等间隔抽取的视频每一帧图像进行图像特征提取；将图像特征输入编码器，编码器采用了双向循环神经网络和长短期记忆单元；将编码器在所有时间步的输出通过注意力机制输入到解码器，解码器应用了深度输出；解码器在每个时间步生成一个词向量，该向量某个维度上的数据代表词汇表中某个词汇出现的概率大小，选取概率最大的单词作为当前时间步的生成单词，直到生成结束符时结束描述语句的生成，从而将视频转化为描述语句。通过本发明可以实现对视频内容的自动描述，从而节省人力。 | ||
| 搜索关键词： | 一种 基于 双向 循环 神经网络 深度 输出 视频 描述 生成 方法 | ||
【主权项】：
1.一种基于双向循环神经网络和深度输出的视频描述生成方法，其特征在于，所述方法包括以下步骤：步骤1：对视频进行等间隔抽帧；步骤2：使用卷积神经网络提取每个视频帧的图像特征；步骤3：将图像特征输入基于双向循环神经网络和长短期记忆单元的编码器；步骤4：将编码器的输出通过注意力机制输入基于深度输出的解码器；步骤5：解码器在每个时间步生成描述语句中的一个单词直到生成结束符；步骤6：将解码器在每个时间步生成的单词组合成完整的视频描述语句。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910632009.7/，转载请声明来源钻瓜专利网。
