[发明专利]样本标注信息的审核方法及装置

说明书

本发明提供一种样本标注信息的审核方法及装置，所述方法包括：获取需要进行审核的标注样本并组成训练样本集；将训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；获取作为测试使用的识别样本集，针对识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于预设阈值的识别结果对应的第一识别模型确定为目标识别模型；对目标识别模型对应的子样本集中的标注样本进行标注信息审核。应用本发明提供的方案可以快速审核样本的标注结果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种样本标注信息的审核方法、装置、电子设备和计算机可读存储介质。

背景技术

在人工智能领域的模型训练中需要对样本进行标注，比如通过人工来对样本进行标注，或者通过预先建立好的神经网络识别模型对样本进行自动识别并标注。为保证模型训练的准确率，还需要对样本的标注信息是否准确进行审核。

目前，通常是由人工对所有已标注的样本的标注信息进行审核。然而，由于样本集中样本的数量比较大，这样就会花费较多时间和人力来审核样本的标注信息。

发明内容

本发明的目的在于提供一种样本标注信息的审核方法、装置、电子设备和计算机可读存储介质，以快速审核样本的标注信息。具体技术方案如下：

第一方面，本发明提供了一种样本标注信息的审核方法，所述方法包括：

获取需要进行审核的标注样本并组成训练样本集；其中，所述标注样本预先标注有标注信息；

将所述训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；所述第一识别模型为基于神经网络的模型；

获取作为测试使用的识别样本集，针对所述识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于所述预设阈值的识别结果对应的第一识别模型确定为目标识别模型；

对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核。

可选的，当存在出现次数均不小于预设阈值的多个识别结果时，所述方法还包括：

将目标识别结果对应的第一识别模型确定为目标识别模型；

其中，所述目标识别结果为所述多个识别结果中除出现次数最多的识别结果以外的识别结果。

可选的，当各识别结果的出现次数均小于所述预设阈值，所述方法还包括：

对该识别样本进行审核，得到该识别样本的审核结果。

可选的，对该识别样本进行审核之后，所述方法还包括：

判断该识别样本的审核结果是否存在于不同的第一识别模型对该识别样本的识别结果中；

如果存在，则将识别结果与所述审核结果不同的第一识别模型确定为目标识别模型；

如果不存在，则将全部第一识别模型确定为目标识别模型。

可选的，所述预设数量大于等于3。

优选的，所述预设数量大于等于5。

可选的，所述将所述训练样本集分为预设数量个子样本集，包括：

将所述训练样本集平均分为预设数量个子样本集，任意两个子样本集中样本的数量差小于等于1。

可选的，所述获取作为测试使用的识别样本集，包括：