[发明专利]数据标注系统、方法和数据标注管理器

说明书

本申请实施例公开了一种数据标注系统、方法和数据标注管理器，属于机器学习技术领域。该系统包括数据标注管理器、标注模型存储仓库和基础计算单元存储仓库。数据标注管理器接收数据标注请求，在基础计算单元存储仓库中获取目标基础计算单元，并对其分配硬件资源，建立目标计算单元，获取第一标注模型的基础参数数据的第一存储路径信息并发送至目标计算单元。目标计算单元通过第一存储路径信息，在标注模型存储仓库中获取待使用标注模型的基础参数数据，将目标模型推理框架和第一标注模型的基础参数数据组合成第一标注模型，使用第一标注模型，对待标注数据进行标注。采用本申请，可以使可选择的标注模型更加丰富，更好的为用户提供数据标注服务。

本申请是分案申请，原申请的申请号是202080005146.9，原申请日是2020年04月30日，原申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及机器学习技术领域，特别涉及一种数据标注系统、方法和数据标注管理器。

背景技术

一个能投入应用的机器学习模型，需要经过模型建立和模型训练的过程。在模型训练时，通常需要采集大量样本数据，并对样本数据进行标注，将每个样本数据和对应的标注结果作为一组训练样本，对建立的模型进行训练。可见，样本标注在模型训练中是必不可少一步。

目前，有标注需求的用户可以通过向数据标注系统上传需要标注的数据，然后，数据标注系统可以使用已经集成好的标注模型，对用户上传的数据进行标注。对于数据标注系统中的标注模型，通常由技术人员采用硬编码的方式，将训练后的标注模型集成到数据标注系统中。

在实现本申请的过程中，发明人发现现有技术至少存在以下问题：

当前标注模型只能由技术人员通过硬编码的方式集成到数据标注系统中，而无法使用用户自己的标注模型进行标注。如果用户需要使用自己的标注模型对样本数据进行标注，那么，在目前的数据标注系统中无法实现。可见，当前的数据标注系统的灵活性较差，只能使用技术人员集成的标注模型。

发明内容

为了解决相关技术中数据标注系统灵活性差，只能使用技术人员集成的标注模型的问题，本申请实施例提供了一种数据标注系统、方法和数据标注管理器。所述技术方案如下：

第一方面，提供了一种数据标注系统，所述数据标注系统包括数据标注管理器、标注模型存储仓库和基础计算单元存储仓库，其中：

所述数据标注管理器，用于接收客户端发送的数据标注请求，其中，所述数据标注请求中携带有所述第一标注模型的模型标识和硬件资源分配信息；在所述基础计算单元存储仓库中获取目标基础计算单元，其中，所述目标基础计算单元中包括所述第一标注模型对应的目标模型推理框架和硬件驱动调用工具；基于所述硬件资源分配信息，对所述目标基础计算单元分配硬件资源，建立目标计算单元；在存储的模型标识和基础参数数据的存储路径信息的对应关系中，获取所述第一标注模型的模型标识对应的基础参数数据的第一存储路径信息，向所述目标计算单元发送所述第一存储路径信息；

所述目标计算单元，用于通过所述第一存储路径信息，在所述标注模型存储仓库中获取所述待使用标注模型的基础参数数据，其中，所述第一标注模型的基础参数数据包括所述第一标注模型中的可训练参数训练后的值；将所述目标模型推理框架和所述第一标注模型的基础参数数据组合，得到所述第一标注模型；获取待标注数据；将所述待标注数据输入所述第一标注模型，对所述待标注数据进行标注。

在本申请实施例所示的方案中，数据标注系统可以在单体服务器中实现，例如，数据标注管理器是该单体服务器中的一个功能模块，而标注模型存储仓库和基础计算单元存储仓库是该单体服务器中的存储区。当然，该数据标注系统也可以是一个服务器集群，其中，数据标注管理器、标注模型存储仓库和基础计算单元存储仓库可以分别部署在服务器集群中的不同服务器中。