[发明专利]字符识别后处理方法、设备及包括该设备的图像拾取设备

说明书

一种字符识别后处理方法、设备及包括该设备的图像拾取设备。该方法包括：组件识别步骤，从字符行区域图像中提取组件并获得组件的识别结果；顶点和底点获取步骤，获取组件的与字符方向线的距离最大的顶点与底点；消失点确定步骤，使用顶线和底线的交叉点来确定消失点，其中顶线是基于各组件的任两个顶点的线段中具有彼此相一致的斜率和截距的线段的顶点组而确定的，并且底线是与顶线类似地基于各组件的任两个底点的线段中具有彼此相一致的斜率和截距的线段的底点组确定的；基线确定步骤，基于所确定的消失点来确定至少两条基线；以及字符校正步骤，基于所确定的基线来校正所述识别结果。

技术领域

本申请总地涉及计算机视觉和图像处理领域，特别涉及可以在严重透视畸变情况下提供准确的基线计算结果的字符识别后处理方法、字符识别后处理设备。本申请还涉及包括该字符识别后处理设备的图像拾取设备。

背景技术

随着配有照相机的手持设备的发展，基于照相机的移动OCR(光学字符识别)应用在多种环境中存在迫切的需要，这些环境如文档的室外数字化、外文街头符号识别、以及针对弱视者的字音输入等。

传统的字符识别过程大致可包括文字区域检测步骤、预处理步骤、字符切割步骤、字符识别步骤和后处理步骤。在OCR中基于字符尺寸和位置进行的后处理步骤是非常重要的，其旨在校正不同尺寸的字符(拉丁字符的大小写字符，平假名和片假名的大小字符等)，标点与字符混淆等。后处理步骤通常利用基线信息，这是因为准确的基线信息可以准确地描述每个字符的位置和尺寸。

但是在基于照相机的图像捕获中，由视角变化引起的透视畸变是常见现象，透视畸变可以包括由于被拍摄的字符相对于照相机的光轴存在各种角度而引起的相对于原始字符的成像畸变。特别地，在文档图像之外的其它自然场景图像中，透视畸变可能很严重。透视畸变将影响基线计算，由此进一步对识别结果的准确度有不利影响。因此在透视畸变情况下计算多个基线几乎成为OCR的必需过程。

例如，在文档字符识别中应用的传统基线计算方法可以被分为两类：基于文字方向聚类的方法和基于投影柱状图的方法。

基于文字方向聚类的方法假定没有严重的透视畸变并且可通过聚类方法来区分基线1、2、3、4。图1A示例性示出字符行与四个级别的基线之间的对应关系。该方法针对每个字符提取顶点和底点，并然后把顶点集和底点集分别沿着文字方向聚类为两个组。最后，可以通过在每个组内执行线性拟合来容易地获得相应的基线。图1B示出该方法的流程图，包括如下步骤：组件提取步骤S101，从文字行图像中提取字符组件；组件识别步骤S102，使用字符识别引擎来识别字符组件；基线确定步骤S103，根据文字方向来确定各个基线；以及校正步骤S104，根据各个基线来校正识别结果。

尽管该方法可以在透视畸变较小的情况下取得较好效果，但是不适于自然场景图像。这是因为当存在严重的透视畸变的情况下，来自不同基线级别的点距离非常近甚至可能混在一起，所以难以正确地把点聚类为两个组。此外，当场景中的文字比较短时，在特定基线级别可能甚至只有一个点，从而难以确定该基线的方向。

另一方面，基于投影柱状图的方法从字符提取像素，然后将其沿着文字方向投影。根据投影柱状图的峰来确定各基线的位置。该方法适于没有透视畸变的普通文档图像。然而，当在自然场景的情况下发生严重畸变时不能找到两个峰，因此不能正确地计算基线。另一个限制是投影柱状图对总是被指定为文字方向的投影方向敏感。

在视角变化的情况下，一些方法试图首先确定消失点。例如，美国专利公开US7333676公开了一种用于识别场景图的图像序列中的文字的方法和装置，其中，通过以各种角度旋转文字行并然后在垂直边缘过渡上计算一系列水平投影来估计顶线和底线。这些顶线和底线的最好估计应该对应于在水平投影一侧上产生最陡斜率的旋转角度。该方法的主要问题是其顶线可能不太准确，这是因为其并不明显区分基线1和基线2。此外，遍历多个旋转角度来获取投影也是耗时的。