[发明专利]一种图片文件中插图定位提取方法及系统

说明书

本发明公开了一种图片文件中插图定位提取方法及系统，包括：利用傅里叶变换旋转校正画面倾斜的原始图片文件，获得校正后的画面水平的图片文件；建立基于Mask R‑CNN算法的插图定位提取模型；利用校正后的图片文件训练基于Mask R‑CNN算法的插图定位提取模型；获取未知扫描图片文件，利用傅里叶变换旋转校正画面倾斜的未知扫描图片文件，利用训练后的基于Mask R‑CNN算法的插图定位提取模型对校正后的未知扫描图片文件进行插图定位，根据定位结果进行插图提取；本方法能够通过傅里叶变换校正真实场景下的扫描文件；能够很好地确定真实场景下的扫描文件中插图的位置并进行提取。

技术领域

本发明涉及图片处理领域，具体地，涉及一种图片文件中插图定位提取方法及系统。

背景技术

随着社会发展和信息技术的不断进步，现阶段的抽象文字信息已经不能够全面地描述现象或者结构等信息，信息表达的方式越来越多，图片在信息表达中扮演着重要角色。多数信息文档的获取方式不同、数据格式不一，这给信息挖掘带来一定的困难。在实际应用中存在大量的扫描文件和图片，针对这些文件进行数据分析挖掘的前提是如何从这些文件中提取数据，这些数据包含了文字信息、表格信息、公式信息和插图信息，针对文字的OCR识别技术已有较为深入的研究，然而针对插图的定位和提取还是一个空白的领域，因此在处理扫描文件或图片文件时文档插图的精确定位和提取是亟待解决的问题。目前图片文件中的插图信息提取的方式大多数是基于人工截图的形式进行存储，另外也有自动提取的方式但是提取效果并不好。鉴于上述分析，实现从图片文件中精确地定位插图位置并进行自动提取可以降低人力、物力等方面应用成本。

发明内容

本发明提供了一种图片文件中插图定位提取方法及系统，解决了现有技术中的不足，实现图片文件中插图信息的自动定位提取；旨在提升图片文件中插图定位的精度和提取速度，本方法解决了真实场景下的大规模扫描文件或一般的图片文件中插图的定位与提取问题，填补了深度学习在扫描文件或一般图片文件中插图定位提取领域的空白。

图片文件中插图信息提取的主要技术难点和技术关键点在于图片信息的精确定位并对目标图片进行自动提取。本发明通过识别图片文件中插图信息实现插图定位，对定位的插图进行单独呈现实现插图提取。解决图片数据中的插图信息提取的问题将会大幅度改变图片数据的获取方式，并加快统一数据格式的工作，对数据处理、挖掘等工作有重要的现实意义。深度学习目前已经广泛地应用于计算机视觉等多类问题，本申请是利用深度学习强大的学习能力，对图片文件中的插图信息进行定位并提取，实现数据格式的转换。

为实现上述发明目的，本发明提供了一种图片文件中插图定位提取方法，所述方法包括：

利用傅里叶变换旋转校正画面倾斜的原始图片文件，获得校正后画面水平的图片文件；

建立基于Mask R-CNN算法的插图定位提取模型；

利用校正后的图片文件，训练基于Mask R-CNN算法的插图定位提取模型；

获取未知扫描图片文件，利用傅里叶变换旋转校正画面倾斜的未知扫描图片文件，利用训练后的基于Mask R-CNN算法的插图定位提取模型，对校正后的未知扫描图片文件进行插图定位，并根据定位结果进行插图提取。

进一步地，利用傅里叶变换旋转校正画面倾斜的原始图片文件，具体包括：

获取画面倾斜的原始图片文件的傅里叶变换图；

利用傅里叶变换将空间域的图片转换到频域的图片；

读取图片的灰度图并做二值化处理分离图片的目标和背景，利用Hough变换找到倾斜直线；

计算Hough变换检测到的直线的倾角并根据该倾角旋转画面倾斜的图片，得到校正后的画面水平的图片。