[发明专利]一种视频中的文本跟踪和多帧增强方法

摘要

本发明涉及一种视频中的文本跟踪和多帧增强方法。视频中的文本，大都叠加在复杂背景中，将其直接送入OCR(光学字符识别)软件识别，识别率较低，所以还需要进行文本增强操作，以便将文本和背景分离。视频中的文本，大都要持续数十帧甚至上百帧，并且在相邻帧中，文本颜色基本保持不变，而背景是动态变化的，所以多帧之间具有大量的互补信息可用于文本增强。本发明的方法利用文本笔画具有边缘对的特点消除背景边缘像素的影响，然后使用Hausdorff距离度量方法跟踪文本在相邻帧的位置，在得到文本图像在相邻帧的多个副本之后，利用最小像素搜索法消除背景，得到具有干净背景的二值文本图像，可以大大提高OCR软件对视频文本的识别率。

主权项

1、一种视频中的文本跟踪和多帧增强方法，其特征在于：包括以下步骤：(1)利用文本检测算法检测视频序列第i帧中出现的文本区域，记为文本图像fi，将参考图像Rf设置为fi，令C代表文本图像fi多个副本的集合，将fi添加到集合C中；(2)跟踪文本图像fi在相邻帧的位置，跟踪过程如下：步骤2.1：利用Canny边缘算子提取参考图像Rf的边缘图EM；步骤2.2：估算参考图像Rf在后续帧的出现区域，记为R′；步骤2.3：利用Canny边缘算子提取R′的边缘图EM1；步骤2.4：利用文本笔画形成的边缘具有边缘对的特点，删除边缘图EM和EM1中的背景对象形成的边缘；步骤2.5：采用Chamfer 5-7-11距离变换将边缘图EM和EM1进行Hausdorff距离变换；步骤2.6：计算R′和Rf之间的Hausdorff距离值v，如果v小于预先设定的阈值，R′中取得值v所在的区域f′就是参考图像Rf在相邻帧的匹配区域；如果v大于预先设定的阈值，完成文本跟踪过程；步骤2.7：将参考图像Rf设置f′，将Rf添加到集合C中，转到步骤(2.1)，继续跟踪；(3)利用最小像素搜索法，经由集合C中的多个文本图像，得到一个新的文本图像f，此时变换的背景已经被大大减弱消除；(4)利用最小均方差的二值化方法，对文本图像f进行二值化操作，最终得到具有干净背景的文本二值化图像。