[发明专利]一种基于主动学习的回归分析系统及方法

说明书

技术领域

本发明属于机器学习领域和数据挖掘领域，具体是一种基于主动学习的回归分析系统及方法。

背景技术

在自然科学和经济社会中，各种现象之间互相联系互相影响是一个普遍规律。一些因素（称之为自变量）的变化会导致与之相联系的因素（称之为因变量）产生相应的变化。回归分析系统是在分析自变量和因变量之间相关关系的基础上，建立回归方程，并将回归方程作为对未来因变量的预测模型。根据自变量与因变量的相关关系，回归分析可以分为线性回归和非线性回归。回归分析已广泛应用于各个行业（如工业生产，生物医学，金融市场，计算机人脸识别，语音识别等）的数据分析，也出现了很多利用回归分析技术的专利申请。

如已授权的中国专利102313722A（申请号201110260869.6），该专利提供一种基于多元线性回归的煤质工业分析方法，该方法综合利用了对各工业分析指标具有显著贡献的相关元素的谱线信息，简化了由LIBS分析燃煤工业分析指标的过程，提高了定量分析的速度和精确度。又如已授权的中国专利1101515409A（申请号200910026146.2），该专利提供一种通过管制工作负荷回归分析确定空域容量的方法，能够更为准确地衡量空域容量,对管制工作负荷预测和未来空域容量的评估更为直观,缩短了空域容量评估时间,保证空中交通的安全和高效。

回归分析属于监督学习，与其他的监督学习任务相似，回归模型的性能与训练集的质量高度相关。在实际的回归系统中，由于数据标注的代价巨大，因此，无法对收集到的海量无标注数据进行人工标注。目前广泛采用的方法是从海量未标注数据中随机挑选一部分数据进行标注，以此保持数据分布的特性。但是其不足之处在于，由于忽略训练集与回归模型之间的关系，因此，所构建的训练集难以保证回归模型的性能，从而导致回归系统的预测准确度不高，难以满足实际的需求。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于主动学习的回归分析系统，旨在充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性，更好满足实际数据分析的需求。

为实现上述目的，本发明采用了以下技术方案：

本发明提供一种基于主动学习的回归分析系统，该系统包括：数据采集模块，训练集构建模块，回归学习模块，预测模块及数据存储模块，其中：

所述数据采集模块，收集回归学习所需的未标注数据，并对数据进行预处理，存于数据存储模块；

所述训练集构建模块，构建回归学习所需的训练数据，包括以下两个阶段：初始阶段，从存储的未标注数据中随机挑选部分数据进行人工标注，构建初始训练集；迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法，从未标注数据中选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于数据存储模块；

所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，包括线性回归模型和非线性回归模型；

所述的训练集构建模块和回归学习模块，交互迭代进行，从而充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性。迭代终止条件包括多种：人工设置迭代次数，回归系统的预测性能满足实际需求等；

所述预测模块，主动学习迭代结束后，调用回归学习模块建立的回归模型，包括线性回归模型和非线性回归模型，对因变量进行预测，将预测结果展示给使用者；

所述数据存储模块，存储两部分数据：一部分存储未标注的数据，另一部分存储有标注的数据。其中，未标注数据被训练集构建模块调用，用于样本选择，当被选中标注后，转存为有标注数据。有标注数据被回归学习模块调用，用于训练回归模型。

本发明的另一目的在于提供一种用于上述系统的面向回归的主动学习方法，旨在选择最有信息的样本，更好解决已有技术的存在的上述不足之处。

所述一种面向回归的主动学习方法，具体包括如下步骤：

第一步骤，调用回归模型用Bootstrap方法获得未标注样本的预测值分布；

第二步骤，，获得当前回归模型对未标注样本x的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差；

第三步骤，得到样本的预测误差后，根据模型参数更新原则即按照预测误差的负梯度方向进行迭代更新，计算误差的梯度和模；

第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值，计算出期望值之后，根据此期望值主动选择构建回归模型的样本：选取期望值最大的样本。

与现有技术相比，本发明具有以下有益效果：