[发明专利]一种时间序列数据的在线变分高斯过程方法

说明书

本发明公开了一种时间序列数据的在线变分高斯过程方法，包括以下步骤：S1：采用高斯过程框架的回归模型，确定数据集和观测值；S2：求解变分自由能进行单次数据处理，并计算相应变分下限的分布；S3、针对流数据情况，采用在线变分推理求解问题；S4、通过求解新相对熵散度以求解模型后验概率；S5：将新相对熵散度转成最小化变分自由能，并对应求解因子分布q^*(b)；S6、求解变分下限获得变分自由能；S7、根据求解获得的变分分布，计算预测分布以及在任意测试点预测结果。本发明降低了传统高斯过程算法的训练复杂度和预测复杂度，降低了计算成本，并具有与传统稀疏高斯过程近似方法相当的性能。

技术领域

本发明涉及计算机技术领域，具体涉及一种时间序列数据的在线变分高斯过程方法。

背景技术

高斯过程是解决机器学习问题的一个强大而流行的框架。对于现实生活中产生的时变数据，如物联网(IoT)，高斯过程由于其具有灵活且不确定的量化，成为从时间序列数据中构建实值非线性模型的一个有吸引力的选择。然而，众所周知，高斯过程方法的计算代价高昂，对于N个观测数据，其训练复杂度为预测复杂度为因此，在大数据环境中使用高斯过程方法时，概率建模变得难以计算。

当物联网产生的数据扩展到巨大的容量甚至是无限的时候，随着时间的流逝，传统的高斯过程方法是无法负担的。为了解决这一基本问题，研究者们花费了数年的时间，产生了大量的稀疏高斯过程近似方法，从而避免了高斯过程的密集计算。最具影响力的方案是伪点逼近，它使用训练数据的子集来表示整个观测空间。其中，基于变分推理的稀疏高斯过程近似方法是一种先进的稀疏高斯过程近似方法。在实时数据序列上，将变分推理与稀疏高斯过程近似方法相结合，可以更快、更容易地进行预测和在线学习。

然而，如何将变分推理融合到稀疏高斯过程近似方法中是一个难题。在数据顺序到达的时候还存在一些不清楚的问题。如要对流数据建模，一种简单的方法是将新数据添加到不断增长的数据集中，重新构建模型。显然，这种方案是不切实际的，因为只有有限的计算资源。一种更有效的方法是在新的观测数据到达时更新模型参数。但是如何更新这个模型是一个问题。通常需要对固定或可变数量的以前的观测结果进行采样，以训练当前的模型。因此，如何将历史信息整合到最新的模型中是亟待研究的问题。

发明内容

本发明提供了一种时间序列数据的在线变分高斯过程方法，解决了变分推理在稀疏高斯过程近似方法中的应用问题，其技术方案如下所述：

一种时间序列数据的在线变分高斯过程方法，包括以下步骤：

S1：采用高斯过程框架的回归模型，确定数据集和观测值，设定求解框架是通过最小化高斯过程的后验分布和变分近似分布之间的相对熵散度来进行变分近似；

S2：在映射了数据集和观测值关系的隐函数上找到一个最接近确切后验p(f|y，θ)的分布q(f)，其通过最小化q(f)和p(f|y，θ)之间的相对熵散度KL(q(f)||p(f|y，θ))实现，引入诱导点，从而获得求解变分自由能进行单次数据处理并计算相应变分下限的分布；

S3：由于时间变化，数据集和观测值也一直在变化，针对这种流数据情况，采用在线变分推理求解问题，将隐函数值分为前一时刻和当前时刻两部分，并引入前一时刻诱导点和当前时刻诱导点；

S4：根据前一时刻和当前时刻两部分的诱导点，推导模型后验近似概率p(f|y_a，y_b)，以计算求解新相对熵散度KL(q_b(f)||p(f|y_a，y_b))；

S5：将新相对熵散度转成最小化变分自由能，并对应求解因子分布q^*(b)；

S6：根据因子分布q^*(b)，求解出变分下限获得变分自由能；