[发明专利]一种利用先验知识构建文档图像数据集的方法

说明书

本发明公开一种利用先验知识构建文档图像数据集的方法，首先采用条件随机场对文档版面进行建模；然后训练条件随机场模型参数，获取文档版面先验知识；使用训练好的模型自动生成文档版面布局；进而根据生成的版面布局，生成文档对象的具体内容；最终将文档转换成文档图像，实现对文档图像数据集的构建。本方案基于条件随机场对文档版面结构进行建模，获取文档版面的先验知识，并利用先验知识自动生成文档图像数据集，节省时间和人力成本，避免由于人工标注带来的无效标注；通过条件随机场及先验知识指导生成文档图像的版面结构，使生成的版面更贴近出版物、符合阅读习惯，提高数据集的利用率及深度学习精度；并且，生成文档图像集的同时，能够提供文档图像中文本对象的文字编码信息。

技术领域

本发明涉及一种图像生成方法，属于图像数据集构建领域，具体涉及一种利用先验知识构建文档图像数据集的方法。

背景技术

在文档图像处理的诸多领域中，如分割、分类、检索等领域，带标记的文档图像集是机器学习过程中不可或缺的数据基础，尤其是近年来，深度学习在基于大数据的人工智能领域中成为了重要研究方法，与传统的机器学习相比，深度学习需要更多训练数据。

目前，文档图像数据集一方面来自人工标注，例如：牛津大学机器人研究组(Robotics Research Group)设计的图像标注工具VIA(“Abhishek Dutta and AndrewZisserman.2019.The VIA Annotation Software for Images,Audio and Video.InProceedings of the 27th ACM International Conference on Multimedia(MM’19),October 21–25,2019,Nice,France.ACM,New York,NY,USA.”，使用VIA工具可以使用不同形状(矩形、圆、椭圆、多边形，等等)对图像区域进行手工标注。

另外，也有采用自动生成的方法获取文档图像及标注信息，如2017年文档分析与识别国际会议(International Conference on Document Analysis and Recognition，ICDAR)上的论文(【2】D.He,S.Cohen,B.Price,D.Kifer and C.L.Giles,Multi-ScaleMulti-Task FCN for Semantic Page Segmentation and Table Detection)中将段落、图、表格、标题、段落标题、列表等等元素进行随机排列生成文档图像数据集，用于深度学习训练。同样，申请公布号为【CN 108898188 A】的发明专利也公开一种图像数据集辅助标记系统及方法，利用神经网络训练的思想对神经网络训练所需的图像进行初步特征提取训练，对图像进行识别标记获得神经网络所需的标签文档格式，在大量的图像信息中获得某一类的标签文档。

对于人工标注而言，虽然其具有很强灵活性，标注过程中可以弹性更改标注策略，标注结果能够较好地契合预期，但是，其缺点也是显然的，即标注过程费时、人力成本高昂，而且标注质量与标注人员的熟练程度成正比；相对于人工标注，文档图像数据集自动生成方法可以较好地克服人工标注的不足，但是也存在不可避免的问题，比如，出版业具有自身的行业规范，不同出版物的版面设计也遵循特定的规律，通过这些规律更好地展示文档内容，若随机生成的文档图像不能很好地契合出版物的排版规律，使得训练出来的模型应用于真实出版物文档图像时，不能体现模型的最佳性能。

因此，本发明旨在对出版物版面的客观规律进行建模，从而更有利于机器学习中模型的训练，在机器学习领域，这种已经存在的客观规律，也被称作“先验知识”。

发明内容

本发明针对现有获得文档图像数据集存在的缺陷，提出一种利用先验知识构建文档图像数据集的方法，基于条件随机场对文档版面结构进行建模，并利用先验知识自动生成文档图像数据集，可有效节省时间和人力成本，避免由于人工标注带来的无效标注。