[发明专利]一种视频游动字幕的自动检测方法和装置

权利要求书

1.一种视频游动字幕的自动检测方法，其特征在于，包括如下步骤：

对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点；

对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态；

根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置；

根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。

2.根据权利要求1所述的方法，其特征在于：所述视频帧中的敏感区域为视频帧的顶部或底部区域。

3.根据权利要求1或2所述的方法，其特征在于：所述对视频帧中的敏感区域进行强角点检测时，计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。

4.根据权利要求1所述的方法，其特征在于：所述对各特征点进行光流法跟踪时，以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。

5.根据权利要求1所述的方法，其特征在于：所述根据各特征点的运动状态剔除噪声点时，计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。

6.根据权利要求5所述的方法，其特征在于：所述将字幕粗定位至备选位置时，将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。

7.根据权利要求1所述的方法，其特征在于：所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。

8.根据权利要求7所述的方法，其特征在于：所述根据既定的文字图像模型对备选位置进行验证时，在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。

9.根据权利要求1所述的方法，其特征在于，方法还包括：当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。

10.一种视频游动字幕的自动检测装置，其特征在于，包括如下模块：

检测模块，用于对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点；

跟踪模块，用于对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态；

滤噪模块，用于根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置；

验证模块，用于根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。

11.根据权利要求10所述的装置，其特征在于：所述视频帧中的敏感区域为视频帧的顶部或底部区域。

12.根据权利要求10或11所述的装置，其特征在于：所述检测模块计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。

13.根据权利要求10所述的装置，其特征在于：所述跟踪模块以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。

14.根据权利要求10所述的装置，其特征在于：所述滤噪模块计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。

15.根据权利要求14所述的装置，其特征在于：所述滤噪模块将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。

16.根据权利要求10所述的装置，其特征在于：所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。

17.根据权利要求16所述的装置，其特征在于：所述验证模块在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。

18.根据权利要求10所述的装置，其特征在于，装置还包括：检测模块，用于当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。