[发明专利]实现视听类产品内容摘要自动提取生成的系统及方法

权利要求书

1.一种实现视听类产品内容摘要自动提取生成的系统，其特征在于，所述的系统包括：

视听类媒体解码模块，用以对视听类媒体进行解码并提取音频流、视频流和已编码的文本流；

语音处理模块，用以在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别；

文本抽取模块，用以检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词，且具体进行以下处理：

(a)所述的文本抽取模块检测所述的视听类媒体中的字幕并根据多帧检测结果确定字幕的位置；

(b)所述的文本抽取模块根据所述的语音处理模块的语音识别结果进行字幕语音同步；

(c)所述的文本抽取模块根据字幕语音同步结果选取识别概率最高的文字为文本关键词；

场景分割模块，用以根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景；

场景语义标注和摘要生成模块，用以根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。

2.一种基于权利要求1所述的系统实现视听类产品内容摘要自动提取生成的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的视听类媒体解码模块对视听类媒体进行解码并提取音频流、视频流和已编码的文本流；

(2)所述的语音处理模块在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别；

(3)所述的文本抽取模块检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词；包括以下步骤：

(31)所述的文本抽取模块检测所述的视听类媒体中的字幕并根据多帧检测结果确定字幕的位置；

(32)所述的文本抽取模块根据所述的语音处理模块的语音识别结果进行字幕语音同步；

(33)所述的文本抽取模块根据字幕语音同步结果选取识别概率最高的文字为文本关键词；

(4)所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景；

(5)所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。

3.根据权利要求2所述的实现视听类产品内容摘要自动提取生成的方法，其特征在于，所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景，包括以下步骤：

(41)所述的场景分割模块分析所述的视频流的视频特征；

(42)所述的场景分割模块根据所述的音频特征和视频特征对所述的视频流提取关键帧；

(43)所述的场景分割模块计算各镜头间的关键帧的相似度并将相似度大的关键帧聚合为场景。

4.根据权利要求3所述的实现视听类产品内容摘要自动提取生成的方法，其特征在于，所述的场景分割模块计算各镜头间的关键帧的相似度，具体为：

所述的场景分割模块根据各镜头间的关键帧的音频背景特征和视频特征计算各关键帧的相似度。

5.根据权利要求2所述的实现视听类产品内容摘要自动提取生成的方法，其特征在于，所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要，包括以下步骤：

(51)所述的场景语义标注和摘要生成模块提取所述的文本关键词并计算各个文本关键词出现的频率和在局部时间帧序列上的分布；

(52)所述的场景语义标注和摘要生成模块计算一聚合的场景内的局部场景关键词并计算该局部场景关键词出现的频率和在局部时间帧序列上的分布；

(53)所述的场景语义标注和摘要生成模块选择所述的文本关键词中与所述的局部场景关键词距离最近的语句作为对聚合的场景的语义标注语句；

(54)所述的场景语义标注和摘要生成模块将距离所述的语义标注语句出现的位置最近的关键帧定为语义关键帧；

(55)所述的场景语义标注和摘要生成模块基于所述的语义关键帧生成视频摘要并基于该聚合的场景的语义标注语句生成文本摘要。

6.根据权利要求5所述的实现视听类产品内容摘要自动提取生成的方法，其特征在于，所述的步骤(53)和(54)之间，还包括以下步骤：

(531)所述的场景语义标注和摘要生成模块判断相邻的聚合的场景的语义标注语句之间的相似度是否大于系统预设值，如果是，则继续步骤(532)，否则继续步骤(54)；

(532)将相邻的聚合的场景进一步聚合生成一场景，然后继续步骤(52)。