[发明专利]视频中广告牌自动提取方法、系统及存储介质

权利要求书

1.一种视频中广告牌自动提取方法，其特征在于，所述方法包括以下步骤：

基于预先设定的广告牌分类信息提取视频样本中的视频关键帧；

采用RetinaNet卷积神经网络检测所述关键帧中与所述广告牌分类信息相对应的广告牌；

在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段；

根据分类信息对检测到的广告牌进行分类管理，并将检测到的广告牌呈现给用户；

所述在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段的步骤之前包括：

根据当前帧的检测结果判断对应的广告牌是否是所需类别；

若是，则判断对应的广告牌是所需类别的置信度是否大于预设阈值；

判断连续几帧是否均符合预设条件，其中，所述预设条件为当前帧的检测结果是所需类别，且置信度大于预设阈值；

若是，则判断连续性是否大于预设阈值；

若是，则执行所述在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段的步骤。

2.根据权利要求1所述的视频中广告牌自动提取方法，其特征在于，所述基于预先设定的广告牌分类信息提取视频样本中的视频关键帧的步骤包括：

基于预先设定的广告牌分类信息采用均匀采样方式提取视频样本中的视频关键帧。

3.根据权利要求2所述的视频中广告牌自动提取方法，其特征在于，所述采用RetinaNet卷积神经网络检测所述关键帧中与所述广告牌分类信息相对应的广告牌的步骤中，主干网络采用ResNet50，特征融合部分采用特征金字塔网络。

4.根据权利要求3所述的视频中广告牌自动提取方法，其特征在于，所述采用RetinaNet卷积神经网络检测所述关键帧中与所述广告牌分类信息相对应的广告牌的步骤中采样的损失函数为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中，α为正负样本分配的权重，α∈(0，1)，p为正样本的概率，p∈(0，1)，γ为调节难易样本的权重，γ≥0。

5.根据权利要求1所述的视频中广告牌自动提取方法，其特征在于，所述在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段的步骤包括：

在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，用分类、视频ID、起始时间和结束时间四个字段标记广告牌，得到各类广告牌的片段。

6.一种视频中广告牌自动提取系统，其特征在于，所述系统包括存储器、处理器以及存储在所述处理器上的视频中广告牌自动提取程序，所述视频中广告牌自动提取程序被处理器调用时执行以下步骤：

基于预先设定的广告牌分类信息提取视频样本中的视频关键帧；

采用RetinaNet卷积神经网络检测所述关键帧中与所述广告牌分类信息相对应的广告牌；

在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段；

根据分类信息对检测到的广告牌进行分类管理，并将检测到的广告牌呈现给用户；

所述在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段的步骤之前包括：

根据当前帧的检测结果判断对应的广告牌是否是所需类别；

若是，则判断对应的广告牌是所需类别的置信度是否大于预设阈值；

判断连续几帧是否均符合预设条件，其中，所述预设条件为当前帧的检测结果是所需类别，且置信度大于预设阈值；

若是，则判断连续性是否大于预设阈值；

若是，则执行所述在每一帧的检测结果对应的广告牌的类别以及帧的连续性均满足预设条件时，得到各类广告牌的片段的步骤。