[发明专利]一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法

摘要

本发明涉及一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法。首先对网络直播视频进行关键帧提取，得到视频的关键帧数据。为了利用视频帧的多尺度特征，按照特征金字塔网络的多尺度结构，设计了一个并行通路。该并行通路是自下而上构建的，与原有主干通路之间利用横向连接和斜向连接进行信息交换，其中横向连接和斜向连接均为卷积运算。考虑到网络直播的画面表现形式多以人为主体，同时夹杂大量冗余信息，因此引入空间——通道联合注意力，便于聚焦画面主体特征。最后，将融合了联合注意力的并行特征金字塔结合卷积层和池化层，构造ResNeSt特征提取模块，通过多层模块叠加，实现复杂场景下网络直播视频的特征提取。