[发明专利]视频摘要生成方法及装置

权利要求书

1.一种视频摘要生成方法，其特征在于，包括以下步骤：

获取待处理视频；

对所述待处理视频进行切分，以生成所述待处理视频的序列视频帧；

提取所述序列视频帧中每个视频帧的视频帧特征信息；

根据每个视频帧的视频帧特征信息从所述序列视频帧中提取关键帧；

根据所述关键帧生成所述待处理视频的视频摘要信息；

所述视频帧特征包括视频帧内特征信息和视频帧间特征信息，所述视频帧内特征信息包括人脸特征信息和字幕信息，所述根据每个视频帧的视频帧特征信息从所述序列视频帧中提取关键帧，包括：

根据每个视频帧的视频帧内特征信息从所述序列视频帧中确定出多个待选关键帧；

根据所述待选关键帧的视频帧间特征信息对所述多个待选关键帧进行聚类处理，以生成待选关键帧组；

针对每个待选关键帧组，根据每个待选关键帧组中待选关键帧的人脸特征信息分别确定每个待选关键帧组的关键帧；

所述根据所述关键帧生成所述待处理视频的视频摘要信息，包括：

根据每个待选关键帧组的关键帧生成所述待处理视频帧的视频摘要信息；

所述提取所述序列视频帧中每个视频帧的视频帧特征信息，包括：

针对每个视频帧，确定当前视频帧的字幕区域；

对所述字幕区域进行OCR识别处理，以生成OCR识别结果；

根据所述OCR识别结果判断所述当前视频帧中是否包含所述字幕信息；

所述根据每个视频帧的视频帧内特征信息从所述序列视频帧中确定出多个待选关键帧，包括：

获取所述待处理视频的视频类型；

根据所述视频类型的视频特点与字幕信息之间的关系，确定所述视频类型是否选用包含字幕信息的视频帧作为待选关键帧；

在确定所述视频类型选用包含字幕信息的视频帧作为待选关键帧时，从所述序列视频帧中，选择包含字幕信息的视频帧作为待选关键帧；

在确定所述视频类型选用不包含字幕信息的视频帧作为待选关键时，从所述序列视频帧中，选择不包含字幕信息的视频帧作为待选关键帧。

2.如权利要求1所述的方法，其特征在于，所述视频帧间特征信息包括视频帧间相似度特征信息。

3.如权利要求2所述的方法，其特征在于，所述提取所述序列视频帧中每个视频帧的人脸特征信息包括：

针对每个视频帧，通过预先训练的人脸检测模型确定当前视频帧是否包含人脸；

若确定当前视频帧包含人脸，则通过所述人脸检测模型确定所述当前视频帧中的人脸区域；

所述根据每个视频帧的视频帧内特征信息从所述序列视频帧中确定出多个待选关键帧，包括：

确定所述人脸区域的清晰度；

判断所述人脸区域的清晰度是否大于预设清晰度阈值；

若判断所述人脸区域的清晰度大于预设清晰度阈值，则将所述当前视频帧作为待选关键帧。

4.如权利要求3所述的方法，其特征在于，所述确定所述人脸区域的清晰度，包括：

对所述人脸区域进行离散傅里叶变换，以生成所述人脸区域对应的傅里叶变换值。

5.如权利要求1所述的方法，其特征在于，所述根据所述OCR识别结果判断所述当前视频帧中是否包含所述字幕信息，包括：

根据所述OCR识别结果确定所述当前视频帧中的字幕特征信息，其中，所述字幕特征信息包括字幕词数和/或字幕平均词频；

判断所述当前视频帧中的字幕特征信息是否满足预设条件，所述字幕特征信息满足预设条件包括所述字幕词数大于第一预设阈值，和/或，所述字幕平均词频大于第二预设阈值；

如果所述当前视频帧中的字幕特征信息满足预设条件，则确定所述当前视频证包含字幕信息。