[发明专利]用于获取样本的方法及装置

说明书

本公开的实施例公开了用于获取样本的方法及装置。该方法的一具体实施方式包括：获取目标标签集合和待处理样本；响应于上述待处理样本未包含目标标签集合内全部的目标标签，将上述目标标签集合中的、上述待处理样本未包含的目标标签标记为待处理目标标签；根据上述待处理目标标签为上述待处理样本构建伪标签，得到目标样本。该实施方式提高了样本的利用率以及联合模型训练的有效性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于获取样本的方法及装置。

背景技术

联合模型通常包括多个子模型。每个子模型实现对应的数据处理功能，所有的子模型联合起来完成解决一个问题。联合模型中，多个子模型之间可以共享多个数据。

在训练联合模型的过程中，为满足算法要求，多个子模型可以进行联合训练。联合训练时，子模型可以共享样本，避免了大量重复冗余的计算。

发明内容

本公开的实施例提出了用于获取样本的方法及装置。

第一方面，本公开的实施例提供了一种用于获取样本的方法，该方法包括：获取目标标签集合和待处理样本，其中，上述目标标签用于表征训练联合模型中子模型时的数据类型，上述待处理样本包括至少一个标签；响应于上述待处理样本未包含目标标签集合内全部的目标标签，将上述目标标签集合中的、上述待处理样本未包含的目标标签标记为待处理目标标签；根据上述待处理目标标签为上述待处理样本构建伪标签，得到目标样本。

在一些实施例中，上述根据上述待处理目标标签为上述待处理样本构建伪标签，得到目标样本，包括：获取上述待处理目标标签的属性信息，上述属性信息包括以下至少一项：待处理目标标签的名称、取值范围；为上述待处理样本添加伪标签，并根据上述属性信息设置上述伪标签。

在一些实施例中，上述根据上述待处理目标标签为上述待处理样本构建伪标签，得到目标样本，包括：为上述伪标签设置标记符，上述标记符用于标识伪标签。

在一些实施例中，上述方法还包括：根据上述目标样本训练联合模型的步骤，上述根据上述目标样本训练联合模型的步骤包括：获取样本集合，上述样本集合包括至少一个上述目标样本；对于上述至少一个子模型中的子模型，识别上述样本集合中的伪标签，确定对应该子模型的有效样本；通过上述有效样本训练子模型，并将训练完成的子模型融合为联合模型。

在一些实施例中，上述识别上述样本集合中的伪标签，确定对应该子模型的有效样本，包括：对于上述样本集合中的样本，根据对应该子模型的目标标签查询该样本中对应该子模型的初始标签；响应于上述初始标签包含标记符，将该样本标记为无效样本，否则，将该样本标记为有效样本，其中，上述标记符用于标识伪标签。

在一些实施例中，上述通过上述有效样本训练子模型，包括：获取上述无效样本和有效样本的比例关系；按照上述比例关系分别从上述无效样本和有效样本中选取目标无效样本和目标有效样本，并通过上述目标无效样本和目标有效样本训练子模型。

在一些实施例中，上述根据上述有效样本训练子模型，包括：根据上述比例关系设置样本权重，上述样本权重用于调整上述子模型中的损失函数。

第二方面，本公开的实施例提供了一种用于获取样本的装置，该装置包括：样本获取单元，被配置成获取目标标签集合和待处理样本，其中，上述目标标签用于表征训练联合模型中子模型时的数据类型，上述待处理样本包括至少一个标签；待处理目标标签标记单元，响应于上述待处理样本未包含目标标签集合内全部的目标标签，被配置成将上述目标标签集合中的、上述待处理样本未包含的目标标签标记为待处理目标标签；目标样本获取单元，被配置成根据上述待处理目标标签为上述待处理样本构建伪标签，得到目标样本。