[发明专利]一种时间序列数据的在线变分高斯过程方法

权利要求书

1.一种时间序列数据的在线变分高斯过程方法，包括以下步骤：

S1：采用高斯过程框架的回归模型，确定数据集和观测值，设定求解框架是通过最小化高斯过程的后验分布和变分近似分布之间的相对熵散度来进行变分近似；

S2：在映射了数据集和观测值关系的隐函数上找到一个最接近确切后验p(f|y,θ)的分布q(f)，其通过最小化q(f)和p(f|y,θ)之间的相对熵散度KL(q(f)||p(f|y,θ))实现，引入诱导点，从而获得求解变分自由能进行单次数据处理并计算相应变分下限的分布；

S3：由于时间变化，数据集和观测值也一直在变化，针对这种流数据情况，采用在线变分推理求解问题，将隐函数值分为前一时刻和当前时刻两部分，并引入前一时刻诱导点和当前时刻诱导点；

S4：根据前一时刻和当前时刻两部分的诱导点，推导模型后验近似概率p(f|y_a,y_b)，以计算求解新相对熵散度KL(q_b(f)||||p(f|y_a,y_b))；

S5：将新相对熵散度转成最小化变分自由能，并对应求解因子分布q^*(b)；

S6：根据因子分布q^*(b)，求解出变分下限获得变分自由能；

S7：根据求解获得的变分分布p(f_*|x_*,y)，从而计算预测分布以及在任意测试点预测结果。

2.根据权利要求1所述的时间序列数据的在线变分高斯过程方法，其特征在于：步骤S2中，包括以下步骤：

S21、将最小化相对熵散度转化为最大化观测值的对数边际似然下限，为下一步运算做准备；

S22、引入诱导点u，以获得一个能够计算变分下限的方法，并通过推导得出固定诱导输入Z和超参数θ的下限；

S23、根据前两步的运算，获取单次数据处理，以及得出的变分下限分布。

3.根据权利要求1所述的时间序列数据的在线变分高斯过程方法，其特征在于：步骤S1中，数据集D由N维输入向量和相应的实值输出组成，对应的观测值y_n＝f(x_n)+∈_n，其中，∈_n表示观测噪声分布，0表示噪声均值，表示噪声值，为正态分布记号，f在数据集D上的可能性被分解为其中，表示表示在已知噪声值和f分布情况下，观测值y取值的概率。

4.根据权利要求2所述的时间序列数据的在线变分高斯过程方法，其特征在于：在步骤S21中，将最小化相对熵散度转化为最大化观测值的对数边际似然下限，即最大化

其中为变分下限，在q(f)方面最大化这个变分下限等同于最小化相对熵散度。

5.根据权利要求4所述的时间序列数据的在线变分高斯过程方法，其特征在于：步骤S22中，隐函数是f＝{f,f_*,u}，其中f是隐函数值，f_*是要做预测的点，特别选择近似的后验分布为q(f)＝p(f,f_*|u)q(u)；同样，u被假设为隐函数值f和f⊥f_*|u的充分统计，q(u)表示诱导点u的近似分布；

将变分下限转化为

此时，将变分下限关于变分分布q，诱导输入Z和超参数θ乃至噪声最大化，通过Jensen不等式，得出固定诱导输入Z和超参数θ的下限：

其中，I表示n阶单位矩阵；Tr表示一个矩阵的迹，即矩阵从左上角至右下角的对角线各个元素之和；K_uu是诱导点u的协方差矩阵，K_uf和K_fu分别是是诱导点u与隐函数f，以及隐函数f与诱导点u的协方差矩阵，K_ff是隐函数f的协方差矩阵，隐含着u与f的关系。