[发明专利]一种标签筛选方法及装置

说明书

本申请实施例公开了一种标签筛选方法及装置，获得与多个老师模型对应的指导标签，所述指导标签通过老师模型对训练样本预测获得；根据真实标签对所述指导标签进行筛选，确定满足筛选条件的目标标签；根据所述目标标签对学生模型进行蒸馏指导，获得更新后的学生模型；应用本申请实施例提供的方法，能够在较短时间内训练获得具有较高精度的学生模型。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种标签筛选方法及装置。

背景技术

在做模型部署应用时，可以通过老师模型对学生模型进行指导，以使学生在老师模型的指导下达到较高的精度。然而对于一些复杂的场景，老师模型由于结构复杂可以通过自己学习训练进而达到较高的精度，但是在这种场景中，由老师模型指导学生模型不仅不能使学生模型获得较高的精度，还可能导致任务场景过于复杂导致学生模型相对于本来对于单个场景下精度的再次下降。

发明内容

本申请提供了一种标签筛选方法及装置，以至少解决现有技术中存在的以上技术问题。

本申请一方面提供一种标签筛选方法，所述方法包括：获得与多个老师模型对应的指导标签，所述指导标签通过老师模型对训练样本预测获得；根据真实标签对所述指导标签进行筛选，确定满足筛选条件的目标标签；根据所述目标标签对学生模型进行蒸馏指导，获得更新后的学生模型。

在一可实施方式中，所述获得与多个老师模型对应的指导标签，包括：获得训练样本，所述训练样本为单一场景训练样本，所述单一场景训练样本标注有至少一个维度的真实标签；获得针对单一场景的多个老师模型，其中，不同老师模型针对所述训练样本所具有的优势不同；通过所述多个老师模型对所述训练样本进行预测，获得所述至少一个维度的指导标签。

在一可实施方式中，所述获得与多个老师模型对应的指导标签，包括：获得训练样本，所述训练样本为多个场景训练样本，所述多个场景训练样本标注有多个维度的真实标签；获得针对多个场景中每一场景的老师模型；每个老师模型用于预测一个场景中至少一个维度的真实标签；通过所述多个老师模型对所述训练样本进行训练，获得所述多个维度的指导标签。

在一可实施方式中，所述根据真实标签对所述指导标签进行筛选，确定满足筛选条件的目标标签，包括：对所述指导标签和所述真实标签进行比较，获得第一比较值；根据所述第一比较值对所述指导标签进行调整，以确定所述目标标签。

在一可实施方式中，所述根据所述第一比较值对所述指导标签进行调整，以确定所述目标标签，包括：对与同一训练样本对应的第一比较值进行筛选，确定数值最小的第一比较值；将与所述数值最小的第一比较值对应的指导标签确定为目标标签。

在一可实施方式中，所述根据所述第一比较值对所述指导标签进行调整，以确定所述目标标签，包括：基于与同一训练样本对应的第一比较值确定优势权值；根据所述优势权值对与所述指导标签进行加权，获得目标标签。

在一可实施方式中，所述根据所述目标标签对学生模型进行蒸馏指导，获得更新后的学生模型，包括：通过与所述目标标签对应的训练样本对所述学生模型进行训练，获得训练标签；根据所述目标标签和所述训练标签确定指导数据；根据所述指导数据对所述学生模型进行蒸馏指导，获得更新后的学生模型。

在一可实施方式中，所述根据所述目标标签和所述训练标签确定指导数据，包括：对所述目标标签和所述训练标签进行比较，获得第二比较值；对所述目标标签和所述真实标签进行比较，获得第三比较值；对所述第二比较值和第三比较值进行整合，获得指导数据。

在一可实施方式中，所述根据所述目标标签和所述训练标签确定指导数据，包括：对所述目标标签对应的老师模型的中间层进行数据抽取，获得第一中间数据；对所述训练标签对应的学生模型的中间层进行数据抽取，获得第二中间数据；对所述第一中间数据和所述第二中间数据进行整合，确定第四比较值；对所述第四比较值和所述第二比较值进行整合，获得第五比较值；其中，所述第五比较值用于确定所述指导数据。