[发明专利]模型数据集的建立方法及云系统

说明书

本申请提供了模型数据集的建立方法及云系统，所述方法包括：根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；对训练好的分类模型进行测试，并根据测试结果建立模型数据集。本申请能够利用最终确定的用于实现分类识别的模型数据集，免去人工标注及其校验所耗费的人力和时间成本，从而实现对模型数据集的自动标注，同时有效提升分类识别的效率及准确性。

技术领域

本申请涉及深度学习技术领域，特别涉及模型数据集的建立方法及云系统。

背景技术

近年来，基于深度学习的分类方法相较于传统的分类方法，在分类效果上具有显著的突破，且分类准确度较高，随着ResNet，DenseNet等深度学习网络不断地被提出，基于深度学习的分类方法逐渐成为分类应用的主要潮流。

基于深度学习的分类方法主要通过巨大的训练集，在分类模型中通过前向传导和反向传输不断训练模型参数，得到训练好的分类模型，以达到理想的分类效果，而理想的分类效果主要依赖于训练集中所属类别的代表性和其对应标签的准确性。为了保证标签的准确性，目前的训练集标签均采用人工标注的方式确定样本数据所属的类别，但对于较为复杂的分类任务，训练集中的数据量多为十万乃至百万千万的数量级，人工标注的方式导致耗费的人力和时间成本较高，例如，Magenet图像分类大赛，训练集标签的人工标注是依靠MTurk众包平台实现的。

现有技术不足在于，由于人工标注方式存在一定的主观性，为保证标注结果的客观性和准确性，通常还需要对标注过程进行监管或者对标注结果进行筛查，从而导致人工标注的成本更高。因此，对分类模型的训练通常依靠固定的训练集，并依据训练集所包含的类别实现分类识别，若需要依据特定的需求构建训练集以实现对特定类别的识别，则导致人工标注及其校验所耗费的人力和时间成本较高。可见，对人工标注方式的依赖限制了基于深度学习的分类方法在实际应用中的全面推广。

发明内容

有鉴于此，本发明实施例期望提供模型数据集的建立方法及云系统，以解决现有基于深度学习的分类方法过于依赖人工标注方式，导致人工标注及其校验所耗费的人力和时间成本较高的技术问题。

在一个方面，本申请实施例提供了一种模型数据集的建立方法，包括：

根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；

根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；

对训练好的分类模型进行测试，并根据测试结果建立模型数据集。

在另一个方面，本申请实施例提供了一种模型数据集的建立云系统，包括：

聚类服务器，用于根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；

训练服务器，用于根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；

测试服务器，用于对训练好的分类模型进行测试，并根据测试结果建立模型数据集。

在另一个方面，本申请实施例提供了一种电子设备，所述电子设备包括：

收发设备，存储器，一个或多个处理器；以及

一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行上述方法中各个步骤的指令。

在另一个方面，本申请实施例提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括计算机可读的存储介质和内嵌于其中的计算机程序机制，所述计算机程序机制包括用于执行上述方法中各个步骤的指令。