[发明专利]一种视频中滚动字幕的自动检测和识别方法

摘要

本发明提供了一种视频中滚动字幕的检测和识别方法，属于视频检索领域。该方法包括以下步骤(1)滚动字幕区域的检测；(2)采用自适应检测窗口的方法，对检测到的垂直滚动字幕区域进行过滤，以降低字幕识别的重复率；(3)将包含水平字幕的多帧图像拼接为一帧包含完整滚动字幕的图像，经过二值化操作后，作为OCR识别软件的输入进行字幕识别。本发明充分考虑了视频中滚动字幕的运动特性，能够区分出视频中的固定字幕和滚动字幕，对水平滚动字幕进行拼接，对垂直滚动字幕采用字幕选择区域算法进行过滤，因此可以取得更好的识别性能，包括更高的查全率、查准率以及更低的重复率，从而能够充分发挥视频滚动字幕信息在视频检索中的作用。

主权项

一种视频中滚动字幕的自动检测和识别方法，其特征在于，包括以下步骤：(1)检测视频帧图像中的字幕区域，判断含有的字幕是否为滚动字幕，若为滚动字幕则进一步判断其是水平滚动还是垂直滚动；该步骤利用字幕区域的位置信息、边缘分布信息以及相似度信息来判断是否为垂直滚动字幕；首先判断连续两帧视频图像的字幕区域是否有相交区域，而且相交区域的面积需要满足公式一：Overlap(Ba,Bb)>r1×Max(area(Ba),area(Bb))，其中，Ba，Bb表示连续视频帧中检测到的两个字幕区域，Overlap(Ba,Bb)表示Ba与Bb相交区域的面积，r1的取值范围为0到1，area(Ba)与area(Bb)分别表示Ba与Bb的面积；如果公式一条件成立，则继续进行垂直滚动字幕的判定；否则，进行下一步水平滚动字幕的判定；Ba与Bb判定为相交后，将Ba区域在垂直方向上移动offset偏移量，计算Ba与Bb相交区域的相似度，目的是得到能够使得相似度最大的偏移量offset；相似度的计算采用公式二：Similar(Ba,Bb)=Sum(Same(Ba,Bb))Overlap(Ba,Bb),]]>其中，Same(Ba,Bb)表示Ba与Bb相交区域二值化后，对应像素点的值是否相同，相同则其值为1，否则值为0；Sum(Same(Ba,Bb))表示Ba与Bb相交区域二值化后具有相同像素值的像素点的总数，计算得到的offset即为垂直滚动字幕的垂直运动速度，offset值大于0则为垂直滚动字幕；(2)基于步骤(1)检测到的多帧连续包含垂直滚动字幕的视频图像，采用自适应检测窗口对检测到的字幕区域进行过滤，将相同字幕的多帧视频图像的字幕区域根据背景和文字信息，选择其中一帧作为OCR识别软件的输入；(3)基于步骤(1)检测到的多帧连续包含水平滚动字幕的视频图像，将多帧图像拼接为一帧包含完整滚动字幕的视频图像，将该帧视频图像作为OCR识别软件的输入。