[发明专利]一种视频字幕的处理方法及处理装置

权利要求书

1.一种视频字幕的处理方法，其特征在于，包括：

S1：逐帧处理视频流，得到待识别的图像，所述图像中包括多个像素点；

S2：根据多个所述像素点，确定所述图像的第一文本区域；

S3：按照预设规则，从所述第一文本区域中提取第二文本区域；

S4：对所述第二文本区域进行识别以获取图像文本；

S5：按照每帧图像的时序依次排列获取的图像文本，得到视频字幕。

2.根据权利要求1所述的视频字幕的处理方法，其特征在于，S1包括：

S11：采用三色不等权变换策略逐帧处理视频流中的图像，得到灰度图像；

S12：采用阈值法处理灰度图像，得到包括多个像素点的二值化图像。

3.根据权利要求2所述的视频字幕的处理方法，其特征在于，S2包括：

S21：按照8邻域相通的规则对S1中的二值化图像进行连通域标记，同一连通域内的像素点具有相同的标号；

S22：利用启发式规则筛选并去除面积过大或过小的连通域，得到第一文本区域。

4.根据权利要求3所述的视频字幕的处理方法，其特征在于，S22还包括判断相邻帧图像的连通域是否匹配，将相匹配的多帧图像合并成子集；按照子集的时序使每个子集输出若干二值图像，得到第一文本区域。

5.根据权利要求1所述的视频字幕的处理方法，其特征在于，S3包括：

S31：使用多级边缘检测算法查找第一文本区域中图像的边缘，并输出包含有边缘像素点的二值图像；

S32：计算S31中二值图像每个边缘像素点的梯度，根据每个边缘像素点梯度查找二值图像中的有效笔画并输出包含有效笔画及笔画宽度的二值图像；

S33：基于S32中的二值图像中像素点的笔画宽度划分连通域，位于同一连通域的笔画为同一字符链；

S34：遍历S33中所有的字符链，并将首尾相接的字符链组合到一起形成文本，该文本的包围矩形范围构成第二文本区域。

6.根据权利要求5所述的视频字幕的处理方法，其特征在于，S32中，有效笔画中的像素点两两对应，且相对应的两个像素点均为彼此梯度方向上第一个与其梯度方向相反的像素点，相对应的两个像素点之间的宽度为彼此的笔画宽度。

7.根据权利要求6所述的视频字幕的处理方法，其特征在于，S33中，当相邻两像素点的笔画宽度的比例小于预设阈值时，其属于同一连通域，为同一字符链的笔画。

8.根据权利要求7所述的视频字幕的处理方法，其特征在于，S4包括：

S41：遍历第二文本区域，计算各像素点的梯度，并得到梯度纵向投影直方图；

S42：根据直方图中波峰波谷的位置对第二文本区域进行切分，得到单字符图像；

S43：对单字符图像进行连通域标记，并清除像素点数目过小的区域，得到处理后的二值化图像；

S44：通过OCR识别步骤S43中得到的二值化图像，输出文本，遍历第二文本区域，得到文本集合，完成字幕提取。

9.根据权利要求8所述的视频字幕的处理方法，其特征在于，S42还包括获取切分后各区域在视频流中的原始图片，并根据颜色信息对原始图片进行聚类分析，得到文本的像素信息；通过对比去除切分后各区域的噪点，得到单字符图像。

10.一种视频字幕的处理装置，其特征在于，用于实现权利要求1-9中任意一项所述的视频字幕的处理方法，包括：

获取模块，用于逐帧处理视频流以得到待识别的图像，所述图像包括多个像素点；

确定模块，用于根据多个像素点，确定所述图像的第一文本区域；

提取模块，用于按照预设规则，从所述第一文本区域中提取出第二文本区域；

识别模块，用于对所述第二文本区域进行识别以获取图像图本；

合成模块，用于根据视频时序合成图像文本，得到视频字幕。