[发明专利]一种在噪音标注下能够有效识别模型未知错误的方法

摘要

本发明公开了一种在噪音标注下能够有效识别模型未知错误的方法，其特点是在挑选当前最有可能是模型未知错误时采用动态最近邻算法，降低噪音标注导致的伪未知错误对于标识算法的影响，在有错误标注情况下，基于众包机制对模型进行有效的未知错误识别检测，在有限的预算和固定错误标注率下发现更多模型的未知错误。本发明与现有技术相比具有对模型假设的要求低，只需未知错误不是均匀分布在特征空间上即可，实施简单，易于部署到真实任务中去，在有限的预算和固定错误标注率下发现更多模型的未知错误，同时能够做到发现的未知错误中真正意义上是模型本身存在而不是因为错误标注导致的未知错误的比率高。

主权项

1.一种在噪音标注下能够有效识别模型未知错误的方法，其特征在于在挑选当前最有可能是模型未知错误时采用动态最近邻算法，降低噪音标注导致的伪未知错误对于标识算法的影响，在有错误标注情况下，基于众包机制对模型进行有效的未知错误识别检测，在有限的预算和固定错误标注率下发现更多模型的未知错误，其具体识别按下述步骤进行：步骤a：每次查询的时候从未标注过的样本中随机或挑选当前最有可能是模型未知错误的样本；步骤b：挑选当前最有可能是模型未知错误的时候，借助于一种动态最近邻算法来降低噪音标注导致的伪未知错误对于标识算法的影响，同时能够做到利用已经标注过的样本信息，具体为：(1)、对于每一个已经查询过的点统计附近最近K个被查询过的点是否是未知错误的情况；(2)、拿周围点是未知错误的比率作为该点是未知错误的概率评估；(3)、用该后验估计作为这个点附近最近一个点是否是未知错误的概率近似，同时也是该点是否是由于错误标注导致的伪未知错误的后验估计；(4)、拿每个邻近点的概率估计作为依据，挑出最有可能是未知错误的点进行查询；步骤c：制定贪心策略在随机探索以及利用之间进行取舍，对模型进行有效的未知错误识别检测，在有限的预算和固定错误标注率下发现更多模型的未知错误。