[发明专利]一种视频游动字幕的自动检测方法和装置

说明书

技术领域

本发明涉及图像处理领域，尤其涉及一种视频游动字幕的自动检测方法和装置。 

背景技术

近年来，随着电视及视频媒体的飞速发展，电视及视频媒体中经常出现横向或纵向移动的游动字幕，其作为视频媒体中的文字广告及通告广泛出现在了电视及视频媒体中。而通过人工对其进行监控，工作强度，效率低，由此，如何实现视频游动字幕的自动检测具有十分重要的研究和应用价值。 

现有的游动字幕检测方法包括：独立视频帧检测和连续视频帧检测这两类方法。 

独立视频帧检测为将游动字幕归到一般的字幕检测框架中，通过将视频帧进行特征提取、特征分类、候选字幕区域提取、字幕区域验证等逻辑过程，这些方法虽然可以对视频中的字幕进行检测，但是却不能有效的反映出游动字幕的运动情况，故误检率较高。 

连续视频帧检测为设定游动字幕区域有单一的背景色，通过检测背景边缘线的方法来检测游动字幕区域，其算法的复杂度低、速度快，但是不能检测背景不单一或者上下边界不明显的字幕，考虑不到字幕的文字特征，得到的字幕准确率不高。 

发明内容

本发明的实施例提供了一种视频游动字幕的自动检测方法和装置，解决电视及视频媒体中的游动字幕的自动检测问题，进而对视频中的字幕进行提取。 

为达到上述目的，采用如下技术方案： 

本发明公开了一种视频游动字幕的自动检测方法，包括如下步骤： 

对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

优选的，所述视频帧中的敏感区域为视频帧的顶部或底部区域。 

优选的，所述对视频帧中的敏感区域进行强角点检测时，计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。 

优选的，所述对各特征点进行光流法跟踪时，以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。 

优选的，所述根据各特征点的运动状态剔除噪声点时，计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。 

优选的，所述将字幕粗定位至备选位置时，将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。 

优选的，所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。 

优选的，所述根据既定的文字图像模型对备选位置进行验证时，在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。 

优选的，所述方法还包括：当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。 

本发明还公开了一种视频游动字幕的自动检测装置，包括如下模块： 

检测模块，用于对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

跟踪模块，用于对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

滤噪模块，用于根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

验证模块，用于根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

优选的，所述视频帧中的敏感区域为视频帧的顶部或底部区域。 

优选的，所述检测模块计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。 

优选的，所述跟踪模块以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。 

优选的，所述滤噪模块计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。 

优选的，所述滤噪模块将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。