[发明专利]一种基于高级语义信息特征编码的视频描述方法

权利要求书

1.一种基于高级语义信息特征编码的视频描述方法，其特征在于，包括：

(1)一种基于高级语义信息特征编码的视频描述方法，由预处理模块、编码器、解码器、预测头组成；

(2)作为特征(1)的组成部分，构建一种视频帧提取模块用于预处理视频输入；模块提取视频中最具代表性的关键帧的同时，对图像进行像素级和帧级向下采样，以便压缩处理获得等距间隔的视频帧序列；其中关键帧KEY的作用为保留场景完整空间信息，保证描述内容鲁棒性，而压缩视频序列SEQ用于增强事件动态感知，减少冗余空间信息，提升全局时序建模效果；

(3)作为特征(1)的组成部分，网络构建一种基于transformer的高级语义信息编码器对像素特征编码；编码器使用多头自注意力机制分别从空间与时间维度并行提取视频中高级语义信息特征；本新型编码器对全局信息建模使视频描述精度显著提升，同时，(2)对输入的解耦操作减少了本编码器的网络参数量；

(4)作为特征(3)的组成部分，构建一种空间特征编码器；用于编码(2)提出的关键帧KEY内空间高级语义信息并完成网络空间流建模；

(5)作为特征(3)的组成部分，构建一种时序特征编码器，用于编码(2)提出的视频序列SEQ内时间高级语义信息，从中获取视频中事件数量、动作关系等全局信息；

(6)作为特征(3)的组成部分，构建一种基于多头自注意力机制的融合模块，对(4)、(5)中获得的时、空语义信息进行特征融合，进一步精炼空间与时序语义信息，去除冗余特征减少参数量；

(7)作为特征(1)的组成部分，构建一种基于交叉注意力机制的解码器，用于将包含高级语义信息的隐含特征解码为事件描述及起止时间特征，其中的LSTM网络构成事件描述生成器，用于将解码器所得特征通过生成模型预测事件描述内容；

(8)作为特征(1)的组成部分，一中基于高级语义信息的事件起止时间预测器，用于通过融合(7)所得描述特征和(5)所得时序特征预测视频中各事件的起止时间。

2.根据权利要求1所述的一种基于高级语义信息特征编码的视频描述方法，其特征在于，特征(2)所述的视频处理分为两个支路：提取一个视频关键帧，用于网络编码空间特征，以及在时间轴提取帧序列，用于网络提取视频时序特征；其具体实现方法为：输入视频序列长度为T的序列以k为间隔抽取帧，得到T’＝T/k帧图像，取第T’/2为关键帧保留原生256x256像素作为空间解耦图像，同时对序列T^′中的帧进行向下采样，使其压缩到32x32像素作为时序解耦图像。

3.根据权利要求1所述的一种基于高级语义信息特征编码的视频描述方法，其特征在于，特征(3)所述的高级语义信息编码器同时包含空间编码器以提取更为详细的空间信息以获得描述中的物体、场景等特征；及时序编码器以提取更为粗略的全局时间信息以获得描述中的动作等特征；其公式表示为

HS_emb＝σ(attn((Vit(f_k)_CLS,[TMT({f₀,f_s,f_2s,…,f_T})_CLS)))

其中Vit为空间编码器，TMT为时序编码器，attn为基于多头自注意力机制的高级语义信息融合模块；σ代表线性层以及归一化函数；两个编码器模块分别通过预训练权重构造，以增强其对高级语义信息的感知。

4.根据权利要求1所述的一种基于高级语义信息特征编码的视频描述方法，其特征在于，特征(4)所述的空间高级语义信息编码器，其结构为Vision Transformer网络模块，并载入预训练模型参数，此结构将单帧图像以像素空间位置分割为图像块(patch)，图像块输入N个多头自注意力(MHS)模块处理，获取空间高级语义信息；最终输出特征编码为{S_cls,S₀,S₁,S₂,…,S_n},其中S_cls为用于集成空间编码的分类符，其余为各图像块单独的空间编码。