[发明专利]一种视频字幕提取的方法

说明书

技术领域

本发明属于视频分析和检索技术领域，具体涉及一种视频字幕提取的方法。

背景技术

随着互联网视频内容的不断增加，以及数字图书馆、视频点播、远程教学等大量的多媒体应用，如何在海量视频中检索出所需要的资料显得至关重要。传统的基于关键词描述的视频检索因为描述能力有限、主观性强、手工标注等原因，已经不能满足海量视频检索的需求。因此从20世纪90年代开始，基于内容的视频检索技术成为研究的热点问题，而视频字幕的识别技术正是实现视频检索的关键技术，如果能够自动识别出视频中的字幕信息，则可以建立高效的文本索引结构，从而实现基于查询文本的视频检索。因此，该技术不仅是下一代搜索引擎的关键技术，也是互联网视频管理和监控的关键技术，具有十分重要的研究和应用价值。现有的视频字幕提取技术，一般都是针对特定的视频，没有考虑视频字幕的多样性和复杂性，以及视频在时间上的冗余信息，因此不能有效提取视频中的字幕信息。

2005年在IEEE Transactions on Circuits and Systems for VideoTechnology上发表的文献“A comprehensive method for multilingualvideo text detection，localization，and extraction”(作者是Michael R.Lyu，Jiqiang Song，Min Cai，页码是243-255)，提出了一种视频字幕提取的方法。

该文献首先利用边缘检测算子求得视频帧的边缘图，然后用分析边缘投影图的波峰和波谷的方法来找到可能的字幕区域。基于字幕区域检测的结果，该文献利用局部阈值对字幕区域进行二值化，并对得到的二值图片进行填充以去除噪声，进而从中提取出文字。该方法主要针对背景简单、文字对比度较强的字幕区域。而对于背景复杂、文字对比度较弱的字幕区域提取的效果较差。因此适应面并不广，视频字幕的提取效果还需要提高。

发明内容

针对现有技术的不足，本发明提出了一种视频字幕提取的方法，用于获取视频中的字幕信息。该方法可以有效地获取准确、清晰的二值化字幕图片，从而可以更好地利用OCR软件获取视频完整的字幕文本。

为达到以上目的，本发明的技术方案如下：

一种视频字幕提取的方法，用于把视频字幕区域检测结果由灰度图转换成二值图，并利用OCR软件获取字幕文字识别结果，包括以下步骤：

(1)对视频字幕区域进行基于连通区统计的字幕颜色判断，确认字幕颜色是深色还是浅色，同时反转浅色字幕的灰度图片为深色字幕图片；

(2)对步骤(1)获得的灰度图片进行基于局部窗口分析的灰度图片二值化；

(3)对步骤(2)中得到的二值图片进行OCR软件识别，提取字幕结果。该字幕结果可以是视频字幕文本。

进一步，上述的视频字幕提取的方法，所述步骤(1)之前增加如下灰度值调整的步骤。具体方法如下：

对字幕区域的每一个像素x，按照下列公式调整它的灰度值。

公式一：I’(x)＝128+(I(x)-med)×ratio

公式二：med＝(max-min)×0.5

公式三：ratio＝255/(max-min)

其中，I’(x)是经过调整后像素x的新灰度值，I(x)是调整之前像素x的灰度值，med是字幕区域内所有像素的最大灰度值max与最小灰度值min的平均值，ratio表示灰度值调整的幅度。

进一步，上述的视频字幕提取的方法，所述步骤(2)和(3)之间增加如下步骤：对所述步骤(2)获得的二值图片进行周边融合去噪。具体地，去除二值化图片背景噪声的方法可以按照如下步骤进行：

A：把二值图片周边一定像素宽的所有像素都变成黑色；

B：寻找有周边像素的连通区，把这个连通区转成和背景相同的白色。

进一步，上述的视频字幕提取的方法，所述步骤(1)的颜色判断的具体方法是：用Otsu方法把灰度图片二值化，然后查找白色和黑色的4连通块，去除连通块外接矩形的宽高都极小的那些连通块，最后统计出的白色连通块个数COM_white和黑色连通块个数COM_black。如果COM_white＞COM_black，则字幕是浅色的，反之则为深色。