[发明专利]一种图像数据增广方法及装置

说明书

本发明公开了一种图像数据增广方法及装置，该方法包括：获取真实图像及其真实标注；构建标注生成网络和风格迁移网络；其中，标注生成网络用于根据真实标注生成虚拟标注；风格迁移网络用于将虚拟标注转换成虚拟图像；将标注生成网络与风格迁移网络合并成图像数据增广网络；并基于真实图像及其真实标注，采用基于生成器和判别器的损失函数训练图像数据增广网络；利用训练好的图像数据增广网络生成虚拟图像和虚拟标注，实现图像数据增广。本发明能够在增强真实图像及其标注数据多样性的同时，节省人工标注成本，显著提高后续图像分割模型训练所需的数据量，从而提高图像分割模型的精度。

技术领域

本发明涉及人工智能和材料科学技术领域，特别涉及一种图像数据增广方法及装置。

背景技术

在材料科学领域中，材料的内部微观结构与材料的加工处理技术、组织演变、物理和力学性能等息息相关。因此，材料微观结构的科学定量表征是材料科学领域内的核心问题。由于材料的微观结构通常以非结构化图像数据的形式展现，所以通过图像处理方法准确智能地提取材料显微图像中的关键信息成为计算机科学与材料科学间多学科交叉研究的热点和重点发展方向。

依托于强有效的特征提取能力，深度学习成为目前计算机视觉领域的主流方法。但在材料科学领域，小样本的训练数据造成模型训练困难成为阻碍材料显微图像高精度分析的瓶颈问题。

当前基于监督学习的深度学习模型需要大量具有标注的数据训练模型，而由于材料样本制备过程复杂且标注过程繁琐耗时，通常难以获得大量显微图像数据满足深度学习模型的需要。即使是用于实验研究的微小纯铁金属样品(1×1×1mm)，在微米尺度(分辨率为0.5×0.5×1.0μm)下也具有海量的数据(尺寸为2000×2000像素的1000张截面图像)，需要大量的人力参与进行样品制备、采集和数据标注等工作。因此，亟需研发可靠的小样本学习策略降低深度学习模型对大量训练数据的依赖。

数据增广方法可利用计算机技术扩充训练模型的数据量。使用数据增广方法不仅可以增加训练集的多样性，减少过拟合并提高模型的泛化能力，而且不需要对模型进行修改，其泛用性较高。班晓娟针对上述问题，提出了一种基于风格迁移的数据增广方法[班晓娟，魏晓燕，马博渊，黄海友，王浩，薛维华.一种显微图像数据增强方法及装置：中国,ZL201910253002.6[P].2019-03-28]，通过风格迁移融合模拟仿真模型中的晶粒结构信息和真实图像中的纹理信息创建合成图像，以此扩充用于训练图像分割模型的数据集。实验结果表明，提出的数据增广策略可为材料显微图像分割任务带来性能增益，该增益效果在小数据集上尤为明显，其增益效果超过了传统图像增广方法和基于预训练-微调的迁移学习方法。但该方法依赖模拟仿真模型生成模拟数据，具有两点限制因素：一是时间和计算成本，其复杂的模拟数据建模过程，显著增大生成模拟数据所需的时间，限制了方法的泛化能力。二是理论模型的准确性和可行性，模拟仿真方法依赖严重依赖先验知识构建模拟数据，其先验知识的准确性严重影响后续数据增广方法带来的增益效果。

因此，通过深度学习模型自动的学习图像中知识，同时生成成对的标注和图像，以此避免复杂的模拟数据建模过程，提高方法的泛化能力，是下一步研究的发展方向，也是突破目前该研究领域研究瓶颈的关键。

发明内容

本发明提供了一种图像数据增广方法及装置，以解决现有技术时间和计算成本高，泛化能力低，准确性和可行性不够理想的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种图像数据增广方法，包括：

获取真实图像及每一真实图像所对应的与其逐像素对应的真实标注；

构建标注生成网络和风格迁移网络；其中，所述标注生成网络用于根据真实标注，生成虚拟标注；所述风格迁移网络用于将虚拟标注转换成虚拟图像；