[发明专利]一种基于监督学习和半监督学习双重信息的迭代式标签噪声识别算法

摘要

本发明公开的一种基于监督学习和半监督学习双重信息的迭代式标签噪声识别算法，属于机器学习和数据挖掘领域。本发明将监督和半监督学习结合起来，对于监督学习部分，通过软多重投票方式，产生监督学习噪声识别结果；对于半监督学习部分，基于监督学习产生的纯净数据训练的分类模型，对无标签数据集进行标记，标记后的无标签数据作为训练集，用加权KNN方法对标签数据集进行检测产生噪声识别结果；最终将噪声识别结果结合起来产生最终识别结果。本发明算法还采取迭代方式，每次迭代输入的待测样本为上次迭代时过滤掉噪声后的剩余样本。同传统噪声识别算法比，该发明结合了更多互补信息，同时辅以迭代方式，能更好促进噪声识别准确性。

主权项

一种基于一种基于监督学习和半监督学习双重信息的迭代式标签噪声识别算法，其特征在于，包括以下步骤：步骤1)确定算法输入变量，包括待处理样本集L和无标签样本集U，最大迭代次数maxIter，多次投票次数numVote，噪声识别判定投票信任度numFinalConfodence，随机分块数numCross，分类器个数numClassifier，噪声识别投票信任度numConfidence，判别噪声的信任度阈值ConfidenceThreshold，初始化多次投票次数t＝1，迭代次数m＝1，初始化待处理样本集E＝L；步骤2)将E随机分成numCross个大小一致的子集初始化参数i＝1；步骤3)用集合中样本做训练数据，选择numClassifier个不同的分类算法，训练numClassifier个不同的分类器H1，H2，...，HnumClassifier；步骤4)用H1，H2，...，HnumClassifier对样本集中样本分类，分别计算每个样本的numConfidence，并将计算结果存入一张表中；步骤5)迭代执行步骤2)至4)，每次迭代后i值加1，直到i值等于numCross，停止迭代，计算出这一次投票完成后所有的样本的numConfidence并存入一张表中；步骤6)迭代执行步骤2)至5)，每次迭代后t值加1，直到t＝numVote为止，生成numVote个表；步骤7)综合分析numVote个表，对每个样本的numConfidence进行统计，获得每个样本e的numFinalConfidence(e)，并存入一张表格中。初始化一个En，将numFinalConfidence(e)小于预定的ConfidenceThreshold的样本视为可疑样本存入En；步骤8)将E’＝E‑En作为训练集，基于numclassifier个分类算法，生成numclassifier个分类器，用这些分类器对无标签样本集U进行标记，得到一个样本集；步骤9)将数据集E作为测试集，作为训练集，通过加权KNN算法，计算出每个样本的numFinalConfidence(e)’，并存入命名为numConfidence的表格中；步骤10)将表格和numConfidence的表格中的相同样例的数值，进行相加求平均值，得到最终的Confidence表格，对于数值小于指定阈值ConfidenceThreshold的样本，被视为噪声。设检测到的噪声为则步骤11)迭代执行步骤2)至10)，每次迭代后，m值加1，直到或m＝maxIter为止；步骤12)返回E值，E为删除噪声后的纯净样本集，算法结束。