[发明专利]一种基于字幕视频的镜头边界检测与关键帧提取方法

权利要求书

1.一种基于字幕视频的镜头边界检测与关键帧提取方法，其特征在于，所述方法包括以下步骤：

对视频流抽取视频帧序列，基于帧间差异特征对所述视频帧序列进行粗筛选，并将所述粗筛选的视频帧序列按在所述视频流的序号进行标号；

将所述粗筛选的视频帧序列中的每个帧图像分为上下两个区域；

分别对每个所述帧图像的上区域，基于FPN网络提取图像特征，并计算相邻两帧图像之间的图像特征的余弦相似性，设定阈值，如果相似性值大于阈值，则将第二帧作为镜头边界，并标记为表示场景内容变换的关键帧，得到第一目标关键视频帧序列；

分别对每个所述帧图像的下区域，采用EAST算法检测并提取文字区域，将存在文字区域的帧序列提取出来，并将提取出来的视频帧序列按照顺序排列，依次比较相邻帧图像文字区域的长度，如果长度变化相差预设数量的像素以上，则均判别为关键帧；以及，对短文本帧再提取与长文本行所在帧同样位置的区域，计算两区域的相似性；若不相似则两帧都作为关键帧，若相似，则取前一帧为关键帧，获得第二目标关键视频帧序列；

将所述第一目标关键视频帧序列和所述第二目标关键视频帧序列进行整合，获得最终的目标关键视频帧序列。

2.根据权利要求1所述的方法，其特征在于，所述对视频流抽取视频帧序列，基于帧间差异特征对所述视频帧序列进行粗筛选，包括：

每隔预设时长从所述视频流中抽取一帧图像，获得所述视频帧序列；

计算所述视频帧序列中的相邻两帧图像的差值矩阵；

根据所述差值矩阵包括的非零像素值，计算判定阈值；

根据所述判定阈值，确定当前帧图像是否为粗筛选视频关键帧。

3.根据权利要求2所述的方法，其特征在于，所述计算所述视频帧序列中的相邻两帧图像的差值矩阵，包括：

对抽取的帧图像进行灰度化处理，并用高斯滤波器对提取的每一帧图像对应的灰度图进行平滑处理；

按顺序对相邻帧图像进行灰度差值运算，即将当前帧图像对应的灰度图与上一帧图像对应的灰度图中对应位置处的像素灰度值相减，得到当前帧图像对应的差值矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据所述差值矩阵包括的非零像素值，计算判定阈值，包括：

计算所述差值矩阵包括的所有非零像素值的平均值及方差；

确定所述差值矩阵中像素值大于所述平均值的非零像素值的第一数量，及像素值大于所述方差的非零像素值的第二数量；

根据所述第一数量和所述第二数量，通过如下公式(1)计算所述判定阈值：

T＝1.85×sd+mean (1)

其中，T为所述判定阈值，mean为所述第一数量，sd为所述第二数量。

5.根据权利要求4所述的方法，其特征在于，所述根据所述判定阈值，确定当前帧图像是否为粗筛选视频关键帧，包括：

若非零像素值的数量大于判定阈值，则将当前帧图像确定为视频关键帧；否则，确定当前帧图像不是视频关键帧。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述分别对每个所述帧图像的上区域，基于FPN网络提取图像特征，包括：

将所述帧图像尺寸缩小至224×224；

采用ResNet50为骨干网络，提取出五个卷积层的特征，分别标记为C_1，C_2，C_3，C_4，C_5，尺寸分别为64×56×56，256×56×56，512×28×28，1024×14×14，2048×7×7；

对C_1-C_5进行处理，输出四种特征图P_1，P_2，P_3，P_4，具体尺寸分别为：256×56×56，256×28×28，256×14×14，256×14×14；

将C_5降维到256，经过卷积3×3处理，输出得到P_4，将P_4上采样后与降维处理过的C_4相加，再经过3×3卷积处理，得到P_3，依次类推，得到最终融合特征P_1。

7.根据权利要求6所述的方法，其特征在于，所述计算相邻两帧图像之间的图像特征的余弦相似性，包括：

将所述相邻两帧图像的融合特征分别表示为X，Y，根据如下公式(2)计算所述余弦相似度：