[发明专利]图像处理方法和信息处理设备

说明书

本公开提供了图像处理方法和信息处理设备。图像处理方法包括：将包含文本的待处理图像输入到用于字符识别的卷积神经网络模型，以提取文本特征；将所提取的文本特征输入到与卷积神经网络模型连接的、用于语义识别的循环神经网络模型，以识别待处理图像中的文本，其中，卷积神经网络模型和循环神经网络模型是通过基于彼此连接的、具有待定层的初始卷积神经网络模型以及具有待定层的初始循环神经网络模型，在预定义的候选模型空间中针对每个待定层进行搜索并以端到端的方式对彼此连接的卷积神经网络模型和循环神经网络模型进行联合训练而获得的。

技术领域

本公开总体上涉及图像处理领域，具体而言，涉及用于识别图像中所包含的文本的图像处理方法以及能够实现该图像处理方法的信息处理设备。

背景技术

对于图像中的文本进行识别、包括手写字符识别(OCR)一直是计算机视觉领域的一个研究课题。

目前，基于英文字符的研究工作大多与深度卷积神经网络(DCNN)有关。这些研究工作将例如手写字符的文本识别视为一个图像分类问题，并为每个英文单词分配一个类标签(总共约9万个单词)，这是一种有大量类别的大规模训练模型。因为这种单词的序列的基本组合数量可以超过100万，因此很难推广到其他字符类型，如中文文本、日文文本等。因此，基于DCNN的英文字符系统不能直接用于基于图像的文本序列识别。如果将这样的英文字符系统转用到中文字符序列识别，需要大量人工设计以进行重新设计和训练。

为此，需要提供一种能够利用更易获得的、适合于各种字符识别(例如中文字符识别)的模型来识别图像中所包含的文本的方法。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于以上对于利用更易获得的模型来识别图像中所包含的文本的方法的需求，本发明的目的之一是提供一种图像处理方法以及能够实现该图像处理方法的信息处理设备，其能够利用通过搜索以及端对端训练的方式获得的彼此连接的卷积神经网络(CNN)和循环神经网络(RNN)进行文本识别。

根据本公开的一个方面，提供了一种图像处理方法，该图像处理方法包括：将包含文本的待处理图像输入到用于字符识别的卷积神经网络模型，以提取文本特征；将所提取的文本特征输入到与卷积神经网络模型连接的、用于语义识别的循环神经网络模型，以识别待处理图像中的文本，其中，卷积神经网络模型和循环神经网络模型是通过基于彼此连接的、具有待定层的初始卷积神经网络模型以及具有待定层的初始循环神经网络模型，在预定义的候选模型空间中针对每个待定层进行搜索并以端到端的方式对彼此连接的卷积神经网络模型和循环神经网络模型进行联合训练而获得的。

根据本公开的另一方面，提供了一种信息处理设备，其包括处理器，所述处理器被配置为：将包含文本的待处理图像输入到用于字符识别的卷积神经网络模型，以提取文本特征；将所提取的文本特征输入到与卷积神经网络模型连接的、用于语义识别的循环神经网络模型，以识别待处理图像中的文本，其中，卷积神经网络模型和循环神经网络模型是通过基于彼此连接的、具有待定层的初始卷积神经网络模型以及具有待定层的初始循环神经网络模型，在预定义的候选模型空间中针对每个待定层进行搜索并以端到端的方式对彼此连接的卷积神经网络模型和循环神经网络模型进行联合训练而获得的。

依据本公开的其它方面，还提供了一种使得计算机实现如上所述的图像处理方法的程序。

依据本公开的又一方面，还提供了相应的存储介质，其存储有机器可读取的指令代码，所述指令代码在由机器读取并执行时，能够使得机器执行上述图像处理方法。