[发明专利]数据集的构建方法和装置、移动终端、可读存储介质

说明书

本申请涉及一种数据集的构建方法和装置、移动终端、计算机可读存储介质。所述方法包括：根据学习任务获取具有第一预设数量且携带标注信息的第一数据集；在第一数据集上训练分类模型，并评估分类模型的精度信息；当精度信息达到预设值时，则基于训练后的分类模型分类筛选未标注的数据，将筛选出数据合并至第一数据集以形成第二数据集；基于训练后的分类模型对第二数据集的数据进行分类、清洗以形成具有目标数量的目标数据集；可以实现半自动化的数据采集和筛选标注，可在花费较小人力的基础上获取大量高质量的训练分类模型的数据，大大节约了人力成本，同时提高了构成数据集的效率。

技术领域

本申请涉及计算机应用领域，特别是涉及一种数据集的构建方法和装置、移动终端、计算机可读存储介质。

背景技术

人工智能(Artificial Intelligence，AI)领域的发展日新月异，特别是随着深度学习技术的广泛应用，其在物体检测、识别等领域取得了突破性的进展。一般，人工智能AI算法主要是基于监督式学习的深度学习技术，而训练数据是人工智能模型的驱动力。

目前的训练数据获取方式主要包含开源数据集、网络爬取、线下采集。然而，为了获得大量与学习任务相关的数据，一般需要对开源数据集和网络爬取的数据进行人工筛选分类和信息标注，在获取大量筛选后的标注数据后，再应用于模型训练，这样常常耗费大量的人力和物力，成本很高。

发明内容

本申请实施例提供一种数据集的构建方法和装置、移动终端、计算机可读存储介质，可以在节约成本的基础上构建包括大量且有效数据的数据集。

一种数据集的构建方法，包括：

根据学习任务获取具有第一预设数量且携带标注信息的第一数据集；

在所述第一数据集上训练分类模型，并评估所述分类模型的精度信息；

当所述精度信息达到预设值时，则基于训练后的所述分类模型筛选未标注的数据，将筛选出的数据合并至所述第一数据集以形成第二数据集；

基于训练后的所述分类模型对所述第二数据集的数据进行分类、清洗以形成具有目标数量的目标数据集，其中，第二数据集的数据数量大于等于目标数据集的数据数量。

一种数据集的构建装置，包括：

数据集获取模块，用于根据学习任务获取具有第一预设数量且携带标注信息的第一数据集；

模型训练模块，用于在所述第一数据集上训练分类模型，并评估所述分类模型的精度信息；

数据集合并模块，用于当所述精度信息达到预设值时，则基于训练后的所述分类模型筛选未标注的数据，将筛选出的数据合并至所述第一数据集以形成第二数据集；

数据集处理模块，用于基于训练后的所述分类模型对所述第二数据集的数据进行分类、清洗以形成具有目标数量的目标数据集，其中，第二数据集的数据数量大于等于目标数据集的数据数量。

一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行数据集的构建方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现数据集的构建方法的步骤。