[发明专利]一种图文处理方法、系统以及计算机可读存储介质

说明书

本发明涉及一种图文处理方法，包括如下步骤：获取图文混排文件的图像，并对所述图像进行预处理；通过第一神经网络将经预处理的图像进行区域划分；通过第二神经网络确定划分后的图像中的文本区域；以及通过第三神经网络对所述文本区域进行文本识别。

技术领域

本发明涉及一种处理图文混排文件的机制，具体而言，涉及一种图文处理方法、系统以及计算机可读存储介质。

背景技术

在进行数据采集时有时需要对图文混排的文件进行内容识别，例如，为了收集身份信息需要对身份证图像进行采集、识别。然而，传统的识别方法在特征提取、文字区域检测以及文本识别等诸多方面存在缺陷。

发明内容

因此，为了能够高效准确地对图文混排的文件进行内容识别，尤其是文字识别，本发明提供了一种处理图文混排文件的机制，具体而言：

根据本发明的一方面，提供一种图文处理方法，包括如下步骤：获取图文混排文件的图像，并对所述图像进行预处理；通过第一神经网络将经预处理的图像进行区域划分；通过第二神经网络确定划分后的图像中的文本区域；以及通过第三神经网络对所述文本区域进行文本识别。

在本发明的一些实施例中，可选地，确定划分后的图像中的人像区域并进行裁剪。

在本发明的一些实施例中，可选地，所述方法还包括建立所述人像区域与识别到的文本的映射关系。

在本发明的一些实施例中，可选地，所述第一神经网络是YOLO网络，将经预处理的图像输入到YOLO网络，利用YOLO网络对其进行区域划分。

在本发明的一些实施例中，可选地，所述第二神经网络是CTPN网络，将划分后的图像输入到CTPN网络，利用CTPN网络确定其中的文本区域。

在本发明的一些实施例中，可选地，所述第三神经网络是CRNN网络，将所述文本区域输入到CRNN网络，利用CRNN网络进行文本识别。

在本发明的一些实施例中，可选地，所述图文混排文件是身份证件。

根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。

根据本发明的另一方面，提供一种图文处理系统，包括：预处理单元，其配置成获取图文混排文件的图像并对所述图像进行预处理；划分单元，其配置成通过其中的第一神经网络将经预处理的图像进行区域划分；确定单元，其配置成通过其中的第二神经网络确定划分后的图像中的文本区域；以及识别单元，其配置成通过其中的第三神经网络对所述文本区域进行文本识别。

在本发明的一些实施例中，可选地，所述确定单元还配置成确定划分后的图像中的人像区域并进行裁剪。

在本发明的一些实施例中，可选地，所述系统还包括映射单元，其配置成建立所述人像区域与识别到的文本的映射关系。

在本发明的一些实施例中，可选地，所述第一神经网络是YOLO网络，YOLO网络接收经预处理的图像并对其进行区域划分。

在本发明的一些实施例中，可选地，所述第二神经网络是CTPN网络，所述CTPN网络接收划分后的图像并确定其中的文本区域。

在本发明的一些实施例中，可选地，所述第三神经网络是CRNN网络，所述CRNN网络接收所述文本区域并进行文本识别。

在本发明的一些实施例中，可选地，所述图文混排文件是身份证件。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。