[发明专利]一种视频字幕的提取方法及装置

权利要求书

1.一种视频字幕的提取方法，其特征在于，包括如下步骤：

抽取视频中的图像帧，将各图像帧进行叠加平均，则得到边缘强度图；

在各边缘强度图中逐点扫描，统计边缘强度图中的笔画强度，并基于笔画强度将图像帧进行二值化；

分析所述二值图中的连通域，从图像帧中定位出对应的文字区域；

在文字区域中拟合各颜色通道进行颜色聚类后滤波，从而按得到的类别在含有字幕的文字区域中提取对应的文字；

将所述文字进行OCR识别，得到视频中的字幕。

2.根据权利要求1所述的方法，其特征在于：所述统计边缘强度图中的笔画强度时，

统计边缘强度图中每个像素点的边缘强度值，得到图像帧对应的笔画强度图。

3.根据权利要求1所述的方法，其特征在于：所述分析所述二值图中的连通域时，

对所述二值图分别进行水平投影和垂直投影，选取长宽比在0.1至4.5之间的连通域作为文字区域。

4.根据权利要求1或3所述的方法，其特征在于：所述从图像帧中定位出对应的文字区域时，对二值图像进行形态学滤波，滤除连通域中的噪声。

5.根据权利要求1所述的方法，其特征在于：所述拟合各颜色通道进行颜色聚类时，

统计文字区域中各个颜色通道的直方图，并根据所述直方图中的波峰数量确定待聚类的类别数量；

按类别数量用FCM聚类算法进行颜色聚类，将各类别分别进行文字滤波；

统计各类别中的非零像素数，将非零像素数最多的对应类别图像作为包含字幕的文字区域。

6.根据权利要求5所述的方法，其特征在于：所述将各类别分别进行文字滤波后，

将与图像边缘粘连的连通域为非文字纹理滤除。

7.一种视频字幕的提取装置，其特征在于，包括如下模块：

抽取模块，用于抽取视频中的图像帧，将各图像帧进行叠加平均，则得到边缘强度图；

统计模块，用于在各边缘强度图中逐点扫描，统计边缘强度图中的笔画强度，并基于笔画强度将图像帧进行二值化；

定位模块，用于分析所述二值图中的连通域，从图像帧中定位出对应的文字区域；

提取模块，用于在文字区域中拟合各颜色通道进行颜色聚类后滤波，从而按得到的类别在含有字幕的文字区域中提取对应的文字；

识别模块，用于将所述文字进行OCR识别，得到视频中的字幕。

8.根据权利要求7所述的装置，其特征在于：所述抽取模块统计边缘强度图中的笔画强度时，统计边缘强度图中每个像素点的边缘强度值，得到图像帧对应的笔画强度图。

9.根据权利要求7所述的装置，其特征在于：所述定位模块分析所述二值图中的连通域时，对所述二值图分别进行水平投影和垂直投影，选取长宽比在0.1至4.5之间的连通域作为文字区域。

10.根据权利要求7所述的装置，其特征在于：所述提取模块拟合各颜色通道进行颜色聚类时，

统计文字区域中各个颜色通道的直方图，并根据所述直方图中的波峰数量确定待聚类的类别数量；

按类别数量用FCM聚类算法进行颜色聚类，将各类别分别进行文字滤波；

统计各类别中的非零像素数，将非零像素数最多的对应类别图像作为包含字幕的文字区域。