[发明专利]视频多事件的裁剪及文本描述方法及其装置、设备和介质

权利要求书

1.一种视频多事件裁剪及文本描述方法，其特征在于，所述方法包括：

获取包含一或多个事件的视频，利用基于光流法的去抖算法对所述视频进行预处理并做标注；

依据基于数据集预训练过的C3D网络模型对预处理后的所述视频提取所述C3D网络模型的第五层卷积层的输出，以获取对应所述视频的深度时空特征序列；

对所述深度时空特征序列通过3D卷积、最大池化、非极大抑制、3D RoI池化、及线性回归处理以得到对应所述视频中各事件的起止时间区间；其中，具体包括：依据所述深度时空特征序列通过卷积层和最大池化层得到大小与所述视频帧宽与帧高无关的时域特征；以两个不同的时间点作为一个区间预设多个大小不同的区间，将各所述区间的中心点均匀分布放置在所述时域特征上；将所述时域特征上各所述区间通过一层卷积层计算包含事件的概率；对各所述区间采用非极大抑制的方法去保留少量所包含的事件不重复的区间以得到有效区间；根据所述有效区间在所述深度时空特征序列上截取对应区间的特征，通过3D RoI池化得到固定大小的特征，通过全连接层进行线性回归得到改善调整后的对应所述视频中各事件的起止时间区间；

根据各所述起止时间区间将所述视频截取为一或多个视频段，将各所述视频段通过基于数据集预训练过的VGG网络模型得到对应各所述视频段的多个视频帧的2D特征，统计所述数据集中出现过的单词以形成词汇表；

将全部所述2D特征通过双向LSTM编码网络和LSTM解码网络，以得到各所述视频段对应事件的文本描述。

2.根据权利要求1所述的视频多事件的裁剪及文本描述方法，其特征在于，所述利用基于光流法的去抖算法对所述视频进行预处理的方法包括：

根据所述视频中的特征点计算变换矩阵；

将所述变换矩阵应用在所述视频上；

遍历所述视频取所有帧的公共区域形成一掩膜，计算所述掩膜的最大内接矩形，并将所述掩膜套在所述视频上以去除黑边。

3.根据权利要求1所述的视频多事件的裁剪及文本描述方法，其特征在于，所述标注方法包含：

标注所述视频中每一个事件发生的时间区间中点和时间长度，并用30个相似或相同的句子对每一个所述事件进行描述。

4.根据权利要求1所述的视频多事件的裁剪及文本描述方法，其特征在于，所述深度时空特征序列的获取方法包括：

使用双线性插值算法将所述视频中各视频帧大小变形为240×240；

每次连续不重叠地取16个视频帧序列，通过使用基于数据集预训练过的C3D网络模型，提取所述C3D网络模型的第五层卷积层的输出，以作为所述视频对应的深度时空特征序列；其中所述数据集为行为识别数据集。

5.根据权利要求1所述的视频多事件的裁剪及文本描述方法，其特征在于，所述根据各所述起止时间区间将所述视频截取为一或多个视频段，将各所述视频段通过基于数据集预训练过的VGG网络模型得到对应各所述视频段的多个视频帧的2D特征的方法包括：

根据各所述事件对应的所述起止时间区间截取视频为一或多个视频段；

对各所述视频段采用均匀分布提取多个视频帧；

将各所述视频段通过基于数据集预训练过的VGG网络模型，提取全连接层的输出参数作为各所述视频帧对应的2D特征。

6.根据权利要求1所述的视频多事件的裁剪及文本描述方法，其特征在于，所述将全部所述2D特征通过双向LSTM编码网络和LSTM解码网络，以得到各所述视频段对应事件的文本描述的方法包括：

按所述视频帧顺序输入双向LSTM编码网络以得到对应每一视频帧图像的编码信息；

所述编码信息通过第二层解码LSTM和线性层得到一组与所述词汇表长度相同的向量；

取每个所述向量对应的最大值id以得到对应的单词索引，根据所述词汇表得到一组由单词组成的一句完整文本描述。