[发明专利]用于通过高斯过程进行机器学习的方法

说明书

用于通过高斯过程进行机器学习的方法。计算机实现的用于通过高斯过程GP进行机器学习的方法，具有如下步骤：选择精度目标，选择通过超参数来参数化的先验GP族，获得训练数据集，选择GP参数化来建模，在使用训练数据集、先验GP族和精度目标的情况下通过优化PAC贝叶斯界限训练所述GP，并且通过经训练的GP预测接下来的预期的值。

技术领域

本发明涉及一种用于利用高斯过程进行数据建模的方法；一种利用该方法训练过的系统；一种计算机程序，所述计算机程序包括指令，所述指令设置为，当所述计算机程序在计算机上实施时实施所述方法；一种可机器读取的存储介质，在所述存储介质上存储有计算机程序；和一种计算机，其设置为实施所述方法。

背景技术

如例如从M.Seeger的“PAC-Bayesian Generalization Error Bounds forGaussian Process Classification”(Journal of Machine Learning Research3，233-269(2002))中所已知的那样，高斯过程(GP)可以用于在受监控的学习中进行建模。利用所述高斯过程可以掌握大的数据量，但高斯过程在安全攸关的应用中的使用并不是最优的，因为并不能够确保良好的表现。GP尤其是由于其非参数的特征而是有用的，并且尽管GP作为概率原理的模型具有内在的模糊程度，但是该模糊允许在迄今未处理的数据的情况下不必然推断出GP的效率、例如建模品质。

例如，在通过优化边缘概率(英语：marginal likelihood)拟合大量的超参数时，可以观测所谓的过拟合(英语：overfitting)。尽管完整贝叶斯方程、即利用对超参数边缘化缩小了该风险，但该方程产生不能承受的运行时间，因为相关的预测分布普遍不再可解析地处理。此外，该方法并非自动地得到安全保证或泛化保证(Verallgemeinerungsgarantie)。

发明内容

本发明的优点

具有独立权利要求1的特征的方法是一种用于训练GP和鉴于PAC贝叶斯界限的泛化性能通过直接优化PAC贝叶斯界限来稀疏地(dünnbesetzt)逼近GP的方法。该方法是稳健的并且得到相对于其他传统GP方案显著更佳的泛化保证。尤其是，因为不需要(超)参数的边缘化，所以新方法与具有这种边缘化的方法相比更为高效。

该方法因此不使用完整的贝叶斯方案以避免过拟合，而是代替于此使泛化界限最小化，以便确保不出现过拟合。由此避免计算密集的边缘化。

公开了用于GP模型的新类型的学习目标，其为了将来的预测允许严谨的和数量上良好的性能保证。这种严谨的保证是统计学习原理的对象。然而由于用于GP的经典的均匀学习保证作为非参数的模型不提供断言，所以这种对学习的保证不能在这些模型的情况下使用。代替于此，传统的优化目标是经验的风险最小化(英语(regularized)empiricalrisk minimization(ERM)((正则化)经验风险最小化))、最大概率估计(MLE)或变分推断(VI)。

而更好的非均匀保证在PAC贝叶斯原理内开发(PAC＝英语：Probablyapproximately correct，概率近似正确)。所述保证特别根据概率原理的方法如GP来定制，并且可以提供窄的泛化界限，如例如在GP分类、概率原理的支持向量机器方法(SVM)、线性分类器或随机神经网络中。

到目前为止，PAC贝叶斯界限大多用于泛化性能的结论评估，而几乎不通过PAC贝叶斯界限的优化来检查学习。

本公开将PC贝叶斯界限用于GP的训练，例如用于回归情况、用于分类或其他类型的受监控的学习。尤其是，作为基本的用于保证良好泛化的方法，提出通过将PAC贝叶斯上限B(Q)直接最小化到预测器的真正未来风险R(Q)上来学习完全的和稀疏的GP预测器Q。