[发明专利]基于深度学习生成文档图像集的方法

说明书

本发明公开一种基于深度学习生成文档图像集的方法：首先将页面对象类型序列从一维向量空间投影至二维向量空间；然后进行深度卷积生成对抗网络建模；训练网络参数并使用训练好的网络模型生成对象类型序列；根据网络生成的对象类型序列生成文档对象内容；最终将文档转换成文档图像，生成文档图像集。基于深度学习框架的卷积生成对抗网络自动生成图像文档，使用对抗网络中的判别网络学习现存的文档图像，用对抗网络中的生成网络自动生成新的文档图像，从而得到文档图像集；由于采用现存的文档图像训练网路参数，生成的文档图像更贴近出版物，且与人工标注相比能够自动生成文档图像集及标注信息，节省时间和人力成本，避免由于人工标注带来的无效标注。

技术领域

本发明涉及一种图像生成方法，属于图像数据集自动生成领域，具体涉及基于深度学习生成文档图像集的方法。

背景技术

在文档图像处理的诸多领域中，如分割、分类、检索等领域，带标记的文档图像集是机器学习过程中不可或缺的数据基础。随着大数据时代的到来，“端到端”的深度学习在人工智能研究领域中成了重要研究方法，与传统的机器学习相比，深度学习需要更多训练数据。

目前，研究人员为了更高效地获取包含文档图像及标注信息的图像集，采用了一些图像集自动生成方法。如2017年文档分析与识别国际会议(International Conferenceon Document Analysis and Recognition，ICDAR)上的论文(D.He,S.Cohen,B.Price,D.Kifer and C.L.Giles,Multi-Scale Multi-Task FCN for Semantic PageSegmentation and Table Detection)中将段落、图、表格、标题、段落标题、列表等等元素进行随机排列生成文档图像数据集，用于深度学习训练。同样，申请公布号为【CN108898188 A】的发明专利也公开一种图像数据集辅助标记系统及方法，利用神经网络训练的思想对神经网络训练所需的图像进行初步特征提取训练，对图像进行识别标记获得神经网络所需的标签文档格式，在大量的图像信息中获得某一类的标签文档。

另一方面，很多图像集仍然采用人工标注的方法制作，例如：牛津大学机器人研究组(Robotics Research Group)设计的图像标注工具VIA(“Abhishek Dutta and AndrewZisserman.2019.The VIA Annotation Software for Images,Audio and Video.InProceedings of the 27th ACM International Conference on Multimedia(MM’19),October 21–25,2019,Nice,France.ACM,New York,NY,USA.”，使用VIA工具可以使用不同形状(矩形、圆、椭圆、多边形，等等)对图像区域进行手工标注。

对于人工标注而言，虽然其具有很强灵活性，标注过程中可以弹性更改标注策略，标注结果能够较好地契合预期，但是，其缺点也是显然的，即标注过程费时、人力成本高昂，而且标注质量与标注人员的熟练程度成正比；相对于人工标注，文档图像数据集自动生成方法可以较好地克服人工标注的不足，但是也存在不可避免的问题，比如，出版业具有自身的行业规范，不同出版物的版面设计也遵循特定的规律，通过这些规律更好地展示文档内容，若随机生成的文档图像不能很好地契合出版物的排版规律，使得训练出来的模型应用于真实出版物文档图像时，不能体现模型的最佳性能。

发明内容

本发明针对现有获得文档图像集方法所存在的缺陷，提出基于深度学习生成文档图像集的方法，采用深度学习框架的卷积生成对抗网络自动生成图像文档，使用对抗网络中的判别网络学习现存的文档图像，然后用对抗网络中的生成网络自动生成新的文档图像，从而得到文档图像集。

本发明是采用以下的技术方案实现的：基于深度学习生成文档图像集的方法，包括以下步骤：