[发明专利]一种卡片式文件图像识别方法和装置

权利要求书

1.一种卡片式文件图像识别方法，其中包括：

对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字、标点符号和特殊符号中的一种或多种；

对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征，具体包括以下步骤：

从目标卡片式文件图像中提取出字符图像区域；

对所述字符图像区域进行分割得到单个字符图像区域；

利用CNN模型对单个字符图像进行卷积、池化、归一化操作，从而提取出该字符的图像特征，所述字符的图像特征表述所述字符的字体、颜色和高度特征；

对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容，具体包括以下步骤：

对所述文件字符集合中的字符按语义进行预分割以得到多个分词集合；

对比多个分词的字符的图像特征；

在相邻两个分开的分词的字符图像特征相同时，将相邻两个分开的分词合并构成新的分词；在相邻两个连在一起的分词的字符图像特征不相同时，将所述两个连在一起的分词拆分开；

基于分词的语义特征确定其类别；以及

生成包括所述多个类别字段内容的文件识别文本。

2.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片时，对所述目标卡片式文件图像进行图像处理时进一步包括：

识别第一字符前的图像区域；

响应于在第一字符前识别到标志图像，建立所述第一字符与所述标志图像的对应关系；

提取所述标志图像的图像特征以确定与其对应的类别；以及

在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，根据第一字符所在字符集的语义特征和对应的标志图像确定所述第一字符所在字符集的类别。

3.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片或具有标准参数项的证件时，在对所述文件字符集合中的字符按语义进行抽取时进一步包括：

对所述文件字符集合中的字符按语义进行预分割以得到多个分词集合；

根据语义特征和字符的图像特征识别所述多个分词集合中的标志字符，其中所述标志字符至少包括代表类别的文字；以及

响应于识别到标志字符，在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，将标志字符后与其语义相符的字符集确定为所述标志字符代表的类别。

4.根据权利要求1所述的卡片式文件图像识别方法，其中还进一步包括：将待识别的卡片式文件图像矫正为正向的目标卡片式文件图像。

5.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：

从原始待识别的卡片式文件图像中获取有效图像区域；

识别所述有效图像区域的至少四个顶点；

将所述至少四个顶点映射到一个正向卡片式文件的四个顶点，从而得到映射矩阵，其中，所述正向卡片式文件与所述原始待识别的卡片式文件为同一规格文件；以及

根据所述映射矩阵对所述待识别的卡片式文件图像的有效图像区域进行图像透视变换，以得到正向目标卡片式文件图像。

6.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：

从原始待识别的卡片式文件图像中获取有效图像区域；

在所述有效图像区域中预测出预置位置的关键点；

获取与原始待识别的卡片式文件类型相同的标准正向图像中的对应标准关键点；

根据标准关键点及预测的关键点构造变换矩阵；以及

根据所述变换矩阵对所述原始待识别的卡片式文件的有效图像区域进行透视变换以获得正向目标卡片式文件图像。