[发明专利]一种图片数据集获得方法、装置、设备及存储介质

说明书

本申请公开了一种图片数据集获得方法，该方法包括以下步骤：根据接收到的图片需求，确定核心关键词；生成核心关键词的扩展关键词；基于核心关键词和扩展关键词，进行主题图片的爬取操作，获得源图片数据集；对源图片数据集进行数据增强处理，获得目标图片数据集。应用本申请所提供的技术方案，基于核心关键词和扩展关键词进行主题图片的爬取，并对源图片数据集进行数据增强处理，使得可以快速获得满足图片需求的大规模目标图片数据集，提高了数据获取效率。本申请还公开了一种图片数据集获得装置、设备及存储介质，具有相应技术效果。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种图片数据集获得方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，深度学习网络模型的应用越来越广泛，如可以应用在图像分类、目标检测、图像检索、文字识别等定制化场景中。要想获得较好的应用效果，需要较大规模的数据集来支撑深度学习网络模型的训练和优化。

但是，对于定制化场景，没有公开的数据集。目前，多是通过人工在互联网上搜集相关数据，并对搜集到的数据进行分类，以获得相应的数据集来支撑深度学习网络模型的训练和优化。

这种方式将耗费较多人力资源，很难在较短时间内获取到较大规模的数据集，数据获取效率较低。

发明内容

本申请的目的是提供一种图片数据集获得方法、装置、设备及存储介质，以提高数据获取效率。

为解决上述技术问题，本申请提供如下技术方案：

一种图片数据集获得方法，包括：

根据接收到的图片需求，确定核心关键词；

生成所述核心关键词的扩展关键词；

基于所述核心关键词和所述扩展关键词，进行主题图片的爬取操作，获得源图片数据集；

对所述源图片数据集进行数据增强处理，获得目标图片数据集。

在本申请的一种具体实施方式中，所述获得源图片数据集，包括：

对爬取到的图片进行去重和去噪处理后，获得源图片数据集。

在本申请的一种具体实施方式中，所述生成所述核心关键词的扩展关键词，包括：

通过预先训练获得的扩展模型，生成所述核心关键词的扩展关键词。

在本申请的一种具体实施方式中，所述对所述源图片数据集进行数据增强处理，获得目标图片数据集，包括：

对所述源图片数据集中的图片进行学习，基于学习到的特征，生成与所述源图片数据集中的图片具有相同主题的图片；

基于所述源图片数据集中的图片和生成的与所述源图片数据集中的图片具有相同主题的图片，确定目标图片数据集。

在本申请的一种具体实施方式中，所述图片需求为文字识别场景下的图片需求，所述对所述源图片数据集进行数据增强处理，获得目标图片数据集，包括：

根据预先获得的文本信息，生成包含所述文本信息的图片；

基于所述源图片数据集中的图片和生成的包含所述文本信息的图片，确定目标图片数据集。

在本申请的一种具体实施方式中，生成的包含所述文本信息的图片有多张，包含所述文本信息的每两张图片中的文本字体、文本位置、背景中的至少一种不同。

在本申请的一种具体实施方式中，所述图片需求为针对目标模型训练的图片需求，在所述获得目标图片数据集之后，还包括：

利用所述目标图片数据集对所述目标模型进行训练优化，以利用训练优化后的所述目标模型进行任务处理；