[发明专利]基于字幕信息的视频自动切分及标注方法及系统

权利要求书

1.基于字幕信息的视频自动切分及标注方法，其特征在于，包括如下步骤：

11）分析视频格式，获得视频的帧率n；

12）每隔n帧利用文字定位技术确定视频帧中的文字区域，并将首次出现文字的视频帧的时间，定为该字幕的起始时间；

13）对于步骤12）的文字区域定位结果，每隔n帧计算相同位置的文字区域之间的相似度S_e，如相似度S_e大于一定阈值，则认为文字没有消失，返回执行步骤12）；否则，认为文字消失，记录文字消失所在视频帧的时间点为当前字幕的消失时间，继续执行步骤14）；

14）对于步骤12）的文字区域定位结果，利用文字识别技术进行文字识别，若视频处理完毕，执行步骤15）；否则，返回执行步骤12）；

15）根据字幕的起始时间和当前字幕的结束时间确定待切分视频的所有切分时间区间，基于切分时间区间，利用视频转码技术对视频进行切分，并利用字幕中的文字信息对视频进行标注。

2.根据权利要求1所述的基于字幕信息的视频自动切分及标注方法，其特征在于，所述文字定位技术包括如下步骤：

21）视频帧图像设为f(x,y)，利用Sobel算子处理f(x,y)，得到边缘图像g(x,y)；

22）利用最大类间方差法对所述边缘图像g(x,y)二值化，得到二值图像b₁(x,y)；

23）如果文字属于暗底亮字情况，计算二值图像b₁(x,y)中值为1的像素的笔画强度特征，所述像素的笔画强度特征的计算公式为

其中，h(x,y,i,d)=max(f(x-i×dx_d,y-i×dy_d),f(x+(W+1-i)×dx_d,y+(W+1-i)×dy_d)}式中d=0,1,2,3，dx₀=-1，dy₀=0，dx₁=-1，dy₁=-1，dx₂=0，dy₂=-1，dx₃=1，dy₃=-1，表示笔画最常见的0, 四个方向，W是笔画宽度的上限； 

24）将字符的笔画特征图像S_W(x,y)定义为

利用最大类间方差法对字符笔画特征图S_W(x,y)二值化，得到二值图像b₂(x,y)；

25）如果文字属于亮底暗字情况，提取字符的笔画特征图并进行二值化得到二值图像b₃(x,y)；

26）定义二值图像b₄(x,y)=b₂(x,y)Ub₃(x,y)，其中b₄(x,y)中值为1的像素区域就是文字区域，设b₄(x,y)的第i个文字对象的位置为rect_i，所述rect_i为包含第i个文字对象的最小矩形框，E_i(x,y)为b₄(x,y)中rect_i所包含的区域，于是完成字符对象的定位。

3.根据权利要求1所述的基于字幕信息的视频自动切分及标注方法，其特征在于，相同位置的文字区域之间的相似度S_e的计算方法包括如下步骤：

31）视频帧a的第i个文字对象在图像中的位置为 与a 相邻的视频帧b的第j个文字对象在图像中的位置为 它们位置重合的比例S_o为：

如果这两个文字对象的位置重合比例S_o不小于一定阈值，则执行步骤32）；否则，认为二者为不同字幕对象，结束比较；

32）计算得到上述文字对象的匹配特征分别为 和 和 的相似度S_e为

其中 表示视频帧a的第i个文字对象的二值图像上像素(x,y)的值，而 表示视频帧b的第j个文字对象的二值图像上像素(x,y)的值； 

33）如果匹配特征的相似度S_e大于一定阈值，则认为匹配成功，则上述两个文字对象为在相邻视频帧的同一个文字对象。