[发明专利]图像的处理方法、处理系统及计算机可读存储介质

说明书

本发明提出了一种图像的处理方法、处理系统及计算机可读存储介质，其中，方法包括：对图像进行预处理，得到二值图像；获取二值图像中的矩形框；根据矩形框的高度确定文本高度；根据文本高度合并矩形框，得到矩形框行；根据文本高度组合矩形框行，得到富文本行；提取富文本行的图像；匹配富文本行的图像和类别识别模型，识别富文本行的图像中矩形框行的类别；根据矩形框行的类别更新富文本行。通过上述方法，能够一次性检测出图像中信息的不同类型，同时确定不同类型的信息所在的位置并进行分离，便于后续对图像信息进行识别，把复杂的图像处理问题转换为简单的数值计算问题，有效提升检测效率，实用性高。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像的处理方法、一种图像的处理系统及一种计算机可读存储介质。

背景技术

书籍、试卷等纸质图片可以以电子形式存储于各种介质，网络中，在人们的日常生活中得到了广泛的应用。文本、公式、图表等的检测对于理解图片中内容起着非常重要的作用。然而，图片中总是包含不同种类的语言、不同颜色和不同关系，使得文本、公式、图表等的检测变得更困难。目前，在提取文字区域方法中，最常用的是最大极值稳定区域(MSER)算子，MSER是一种经典的连通区域检测算子，MSER算子具有非常强的鲁棒性，可以检测到低质量的文字，例如低对比度、低分辨率和模糊退化。

随着人工智能相关技术的迅速发展，机器学习、深度学习方法也越来越多的应用于文本检测算法中，对图片进行文本检测的算法主要分为两类：基于滑动窗口的方法和基于连通区域的方法；基于滑动窗口的方法是通过一个大小可变的滑动子窗口扫描一张图片所有可能的位置，来检测文本信息，其利用一个训练好的分类器来判别窗口内是否有文本信息；基于连通区域的方法首先通过一个底层的滤波器快速分割文本和非文本像素，然后把具有相似属性的文本像素连通起来构成文本成分，笔画宽度转化(SWT)算法和最稳定极值区域(MSREs)算法是此类方法的代表。但以上机器学习方法、深度学习方法都只能针对文本进行检测，效率较低，且无法同时检测图像中的公式、图表，适用范围有限。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一方面在于提出了一种图像的处理方法。

本发明的第二方面在于提出了一种图像的处理系统。

本发明的第三方面在于提出了一种计算机可读存储介质。

有鉴于此，根据本发明的第一方面，提出了一种图像的处理方法，包括：对图像进行预处理，得到二值图像；获取二值图像中的矩形框；根据矩形框的高度确定文本高度；根据文本高度合并矩形框，得到矩形框行；根据文本高度组合矩形框行，得到富文本行；提取富文本行的图像；匹配富文本行的图像和类别识别模型，识别富文本行的图像中矩形框行的类别；根据矩形框行的类别更新富文本行。

本发明提供的图像的处理方法，通过对图像进行预处理，得到二值图像，获取二值图像中的表示图像信息所在位置的矩形框，根据矩形框的高度确定文本高度，根据文本高度合并矩形框的同时粗略检测合并得到的矩形框行的类别，区分出无法识别类型的矩形框行，再将不同类别的矩形框行进行组合，得到富文本行，根据富文本行的最大外接矩形提取富文本行的图像，通过匹配富文本行的图像和类别识别模型，识别出粗略检测时无法识别的矩形框行的类别，从而确定富文本行所包含的信息类型。通过上述处理方法，能够一次性检测出图像中信息的不同类型，同时准确确定不同类型的信息所在的位置并进行分离，便于后续对图像信息进行识别，而且与传统方法相比，整个处理过程中，把复杂的图像处理问题转换为简单的数值计算问题，便于实现，有效提升检测效率，还能够适用于弯曲、倾斜等富文本行的检测，实用性高。其中，矩形框行的类别分为文本行和非文本行，非文本行的类别包括公式、插图、表格等。

另外，根据本发明提供的上述技术方案中图像的处理方法，还可以具有如下附加技术特征：