[发明专利]一种基于多级预测架构的视频描述方法及系统

摘要

本发明公开了一种基于多级预测架构的视频描述方法及系统，属于深度学习中计算机视觉以及自然语言处理领域，本发明要解决的技术问题为如何生成细粒度的语言描述，避免模型复杂度提高造成梯度消失，同时从根本上解决曝光偏差的难题，避免发生错误累计，造成最终结果的失效，采用的技术方案为：该方法步骤如下：S1、获取原始数据；S2、使用nltk对描述进行筛选分词；S4、预训练YOLO；S5、通过多层解码器LSTM及堆叠注意力机制得到语言描述；S6、将得到的语言描述分别与真实标注计算交叉熵，同时将得到的语言描述的和作为总体损失。该系统包括原始数据获取模块、筛选分词模块、单词表制作模块、YOLO预训练模块、语言描述获取模块及梯度计算模块。

主权项

1.一种基于多级预测架构的视频描述方法，其特征在于，该方法具体步骤如下：/nS1、获取原始数据：将获取的原始监控视频切割成短视频，短视频是每隔相等短时间间隔抽取帧进行分析，并在每段短视频中通过人工进行标注，同时将短视频划分为训练集和测试集；/nS2、使用nltk对描述进行筛选分词：对每段短视频中的人工标注进行筛选分词，将标注筛分成单词；/nS3、制作单词表：根据筛分完成的训练集的标注制作单词表，按照标注中单词次数由高到低排序组成单词表；/nS4、预训练YOLO：使用训练好的训练集模型提取k个显著区域；/nS5、通过多层解码器LSTM及堆叠注意力机制得到语言描述：采用一种由粗粒度到细粒度的框架，使用编码器提取一组显著的图像区域，每个区域由一个特征向量表示，再将提取到的特征向量序列通过一层粗粒度解码器LSTM和两层细粒度解码器LSTM，经过堆叠注意力机制得到语言描述；/nS6、将得到的语言描述分别与真实标注计算交叉熵，同时将得到的语言描述的和作为总体损失。/n