[发明专利]一种自训练框架下的三优选半监督回归算法

说明书

一种自训练框架下的三优选半监督回归算法，涉及半监督回归算法的技术领域。本发明对无标签样本和有标签样本进行筛选，建立高斯过程回归模型，利用该模型预测无标签样本集的标签值，得到伪标签样本集；利用置信度判断准则选出满足条件的伪标签样本集；通过置信度判断进一步选出可信度高的伪标签样本集，并更新有标签样本集和无标签样本集，重新对无标签样本和有标签样本筛选并利用高斯过程回归模型，更新阈值，预测无标签样本集得伪标签样本集，对伪标签样本集进行置信度判断，进入自训练循环，直至达到所设定循环次数。本发明实现对伪标签样本的置信度判断，并引入自训练框架提高无标签样本利用率，以提高利用无标签样本后模型的预测效果。

技术领域

本发明涉及半监督回归算法的技术领域，尤其涉及自训练框架下的三优选半监督回归算法的技术领域。

背景技术

化工、冶金和发酵等工业过程中的一些重要质量变量，往往无法通过在线仪表测量，而通过实验室离线分析的方式又存在严重的滞后，因此需要通过一些能够直接测得的样本数据来对这些重要质量变量进行预测。随着科技的发展，尤其是工业大数据技术的发展，无标签样本越来越易大量获得，而有标签样本获取代价依然很大，导致在某些工业过程中有标签样本很少，传统的建模方法在有标签样本很少时难以保证模型的预测效果。

为了解决这些问题，研究利用少量有标签样本和大量的无标签样本来提高学习性能的半监督学习受到了密切关注。目前，半监督聚类与半监督分类方面的研究很多，而半监督回归方面的研究却很少。半监督回归一些常用的方法如利用流行学习的半监督回归算法、协同训练算法、半监督支持向量回归、选择性集成算法等。

但是当有标签样本很少时，这些方法无法保证对无标签样本利用的质量。为了更充分准确地利用无标签样本，考虑到无标签样本中有相当一部分是无法通过少量有标签样本准确预测的，且少量有标签样本中存在的离群点会影响对无标签样本的预测效果，在对无标签样本和有标签样本筛选的基础上，定义了一种置信度判断准则，实现对伪标签样本的置信度判断，并引入自训练框架提高无标签样本利用率，以提高利用无标签样本后模型的预测效果。

发明内容

针对工业过程中存在的有标签样本少且获取代价高，而传统的半监督学习无法保证对无标签样本充分准确预测的问题，本发明提出了一种自训练框架下的三优选半监督回归算法。

本发明的目的是通过以下技术方案实现的：

一种自训练框架下的三优选半监督回归算法，包括如下步骤：

步骤一：对无标签样本和有标签样本进行筛选，利用筛选所得有标签样本建立高斯过程回归模型f₁，利用该模型预测无标签样本集M₁的标签值，得到伪标签样本集S₁；

无标签样本筛选：给定一个阈值θ₁，利用马氏距离来度量无标签样本x′_i与有标

签样本密集区中心C的相似度d_i，若x′_i与C的距离小于θ₁，则x′_i满足优选条件；

有标签样本筛选：给定一个阈值θ₂，利用马氏距离来度量样本间的相似度d(x_i,x_j)，统计样本x_i与周围样本x_j的马氏距离小于θ₂的样本数量m，若m大于等于2，则x_i满足优选条件；

步骤二：利用置信度判断准则对伪标签样本(利用有标签样本集建立模型，预测无标签样本集的标签值，所得的样本集称为伪标签样本集)进行置信度判断，选出满足条件的可相信伪标签样本集S₂；

步骤三：通过置信度判断进一步选出可信度高的样本；