[发明专利]噪音样本的识别方法、装置、电子设备以及存储介质

说明书

本公开提供了噪音样本的识别方法、装置、电子设备以及存储介质，涉及自然语言处理、深度学习等人工智能技术领域。具体实现方案为：获取原始样本集合；采用预设的调整规则，对原始样本集合中的原始训练语料添加掩码，以得到目标样本集合；利用预训练的语言模型，对目标样本集合中的多个目标训练语料进行掩码预测，以得到各目标训练语料对应的第一掩码预测字符；将各目标训练语料对应的第一掩码预测字符与预设条件进行匹配；根据目标样本集合中第一掩码预测字符不匹配预设条件的目标训练语料，确定原始样本集合中对应的原始训练语料为噪音样本。能够高效、精准的从原始样本集合中识别出噪音样本。

技术领域

本公开涉及计算机技术领域，特别涉及自然语言处理、深度学习等人工智能技术领域，尤其涉及噪音样本的识别方法、装置、电子设备以及存储介质。

背景技术

自然语言处理应用中，训练样本的质量起到了决定性的作用。大规模、高质量的训练样本往往能训练出很好的应用模型，例如神经机器翻译模型等深度学习模型。而实际应用中，高质量的训练样本一般较难得到，也在将方法落地到实际应用的过程中造成了较大的障碍。

发明内容

本公开提供了一种噪音样本的识别方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种噪音样本的识别方法，包括：获取原始样本集合；采用预设的调整规则，对所述原始样本集合中的原始训练语料添加掩码，以得到目标样本集合；利用预训练的语言模型，对所述目标样本集合中的多个目标训练语料进行掩码预测，以得到各所述目标训练语料对应的第一掩码预测字符；将各所述目标训练语料对应的第一掩码预测字符与预设条件进行匹配；根据所述目标样本集合中所述第一掩码预测字符不匹配所述预设条件的目标训练语料，确定所述原始样本集合中对应的原始训练语料为噪音样本。

根据本公开的另一方面，提供了一种用于噪音样本识别的模型训练方法，包括：获取原始样本集合，其中，所述原始样本集合中各原始训练语料具有对应的标注；采用预设的调整规则，对所述原始样本集合中的原始训练语料添加掩码，以得到目标样本集合；利用初始的语言模型，对所述目标样本集合中的多个目标训练语料进行掩码预测，以得到各所述目标训练语料对应的第二掩码预测字符；根据各所述目标训练语料对应的第二掩码预测字符与各所述原始训练语料对应的标注之间的差异，对所述初始的语言模型的模型参数进行调整；将调整后得到的所述语言模型确定为用于噪音样本识别的语言模型。

根据本公开的另一方面，提供了一种噪音样本的识别装置，包括：第一获取模块，用于获取原始样本集合；第一处理模块，用于采用预设的调整规则，对所述原始样本集合中的原始训练语料添加掩码，以得到目标样本集合；第一预测模块，用于利用预训练的语言模型，对所述目标样本集合中的多个目标训练语料进行掩码预测，以得到各所述目标训练语料对应的第一掩码预测字符；匹配模块，用于将各所述目标训练语料对应的第一掩码预测字符与预设条件进行匹配；第一确定模块，用于根据所述目标样本集合中所述第一掩码预测字符不匹配所述预设条件的目标训练语料，确定所述原始样本集合中对应的原始训练语料为噪音样本。

根据本公开的另一方面，提供了一种用于噪音样本识别的模型训练装置，包括：第二获取模块，用于获取原始样本集合，其中，所述原始样本集合中各原始训练语料具有对应的标注；第二处理模块，用于采用预设的调整规则，对所述原始样本集合中的原始训练语料添加掩码，以得到目标样本集合；第二预测模块，用于利用初始的语言模型，对所述目标样本集合中的多个目标训练语料进行掩码预测，以得到各所述目标训练语料对应的第二掩码预测字符；调整模块，用于根据各所述目标训练语料对应的第二掩码预测字符与各所述原始训练语料对应的标注之间的差异，对所述初始的语言模型的模型参数进行调整；第五确定模块，用于将调整后得到的所述语言模型确定为用于噪音样本识别的语言模型。