[发明专利]一种快速准确的视频字幕提取方法

说明书

技术领域

本发明涉及多媒体视频分析领域，尤其涉及一种快速而准确的视频信号中字幕的提取方法。

背景技术

随着通信技术的迅速发展和多媒体视频资源以爆炸性速度的增加，产生了视频分析，视频检索，视频管理等技术。如何有效地对这些视频资源的内容进行描述，成为一个挑战性的研究课题。

视频的字幕信息直接地描述视频中的目标物和故事内容，使人能够更直观的来理解和欣赏视频的内容，因此是一种直接而有效的描述视频内容的特征。同时，字幕又提供了非常视频中很多重要信息，例如，人名，场景，日期，时间，比赛分数，节目介绍等等。现阶段，基于视频字幕的分析方法，比基于音频和图像内容的分析方法更加准确，因为字幕识别OCR系统比语音和图像内容识别系统更加可靠。视频的字幕信息可被广泛的应用于基于内容的视频分析等方面，例如图像搜索，视频字幕区域增强，视频的高级特征提取，视频检索等方面。因此，对视频字幕进行有效的提取是一个必要的环节。为了能够达到实时的处理要求，视频字幕提取的速度和检测性能都是非常重要的。

视频字幕的准确提取是一个难点，主要原因有以下几点：在不同视频中字幕大小，字体，颜色，和分布都是不一致的；字幕是嵌在视频场景中的，视频场景的不同也造成了字幕检测的难易程序，例如，字幕与场景的低对比度和纹理丰富场景中的字幕提取，是非常困难的；字幕是理解视频内容的一个辅助信息，所以一般情况下，字幕的分辨率会很低。

现阶段，视频中字幕区域的检测的方法，分为两大类，利用单帧的检测和利用多帧的检测。利用单帧的检测主要有：基于连通域的方法，基于边缘的方法，基于纹理的方法；基于多帧的检测主要有：多帧平均的方法。

基于连通域的方法是利用同一条字幕区域具有相近的颜色和大小等信息，将视频帧图像分割成许多小的连通域，然后再合并这些小的连通域形成一个大的连通域，例如文章“Q.Ye，Q.Huang，W.Gao，and D.Zhao，“Fast androbust text detection in images and video frames，”Image and Vision Computing，vol.23，pp.565-576，2005”。

基于边缘的方法是利用了字幕区域的边缘比较丰富，而背景区域的边缘相对简单，主要是利用边缘算子提取边缘，然后进行形态学滤波，将字幕区域确定出来，例如文章“C.W.Ngo and C.K.Chan，“Video text detection andsegmentation for optical character recognition，”Multimedia Systems，vol.10，no.3，pp.261-272，Mar，2005”。

基于纹理的方法是利用字幕区域具有特殊的纹理，主要是利用小波变换，Gabor变换，傅立叶变换等方法得到图像的纹理图，利用SVM分类器，K-means聚类，神经网络等方法将字幕区域和背景区域相区别。例如文章“D.Chen，J.Odobez，and H.Bourlard，“Text detection and recognition in images andvideo frames，”Pattern Recognition，vol.37，pp.595-607，2003”。

多帧平均的方法是利用多帧图像求平均图的方法来消失背景对字幕提取时带来的影响，例如文章“R.Wang，W.Jin，and L.Wu，“A novel video captiondetection approach using multi-frame integration，”International Conference onPattern Recognition，pp.449-452，2004”。

在专利ZL02801652.1中公开了《一种基于图像区域复杂度的字幕检测方法》，其在技术实现上是假设字幕区域是静止的，而且位置也是图像的中下部分。在专利ZL03123473.9中公开了《一种利用字幕位置等信息进行字幕提取的方法》并将提取的结果来有效使用以辅助残障者，但是该技术的一个局限性在于字幕出现在画面中的位置信息敏感，如果有用的信息不在所制定的检测范围内，则不能很好地应用。

现有技术至少存在以下缺陷：视频提取的速度和性能上不能兼优。

发明内容

本发明的目的在于克服上述现有技术不足，提出一种视频字幕提取方法，该方法能够提高视频字幕提取的准确率和速度。

本发明的技术方案是这样实现的：包括以下步骤：

首先，抽取视频中关键帧的亮度图像；