[发明专利]一种基于广义N体问题的高斯过程回归计算方法

说明书

技术领域

本发明涉及一种大数据背景下的大数据回归技术，特别涉及一种基于广义N体问题通用求解方法的高斯过程回归计算方法，以提高大数据处理与分析的效率。

背景技术

在大数据时代，海量数据的采集、存取、管理、分析和利用成为了全球的研究及应用热点。其中，大数据分析是大数据相关研究与应用的重要组成部分。高斯过程回归是一种基于贝叶斯理论和统计学习理论发展而来的机器学习算法，适合处理高维非线性回归问题。相比于SVM、Neural Network等其他大数据分析经典算法，高斯过程回归具有非参数推断灵活、输出具备概率意义等优点。然而高斯过程回归的一般计算方法具有计算量大、高维数据陷阱等弊端，不能良好适应大数据时代的海量高维数据。广义N体问题是一类计算点对之间的距离、核、相似性等关系的问题，包括高斯过程回归、n点相关函数、All-Nearest-Neighbor、非参数贝叶斯分类、核密度估计等问题，在大数据分析中被广泛应用。基于空间划分数据结构的高阶分治算法是广义N体问题的通用计算方法。基于此，将广义N体问题的通用求解方法加以改进，运用到高斯过程回归的计算中，可以克服高斯过程回归一般算法计算效率不高、大数据处理能力不强诸多局限性，推动高斯过程回归在大数据分析中的广泛应用。

发明内容

为解决上述问题，本发明提供一种基于广义N体问题的高斯过程回归计算方法，该方法能加快模型拟合和预测的效率，提高高斯过程回归的大数据适应能力。为达到以上目的，本发明采用以下技术方案：

本发明公开了一种基于广义N体问题的高斯过程回归计算方法，该方法是利用基于双kd树的数据集划分法、双kd树的遍历剪枝法、基于高阶分治的核函数矩阵求解法和Cholesky分解算法协同实现高斯过程回归计算；

高斯过程回归的计算公式是：

其中K_*^T是训练数据集与测试数据集之间的核函数矩阵，K是训练数据集自身的核函数矩阵，σ_n²是噪音，I代表单位矩阵，y是输入的训练目标函数值向量，是预测目标值向量；

具体包括下述步骤：

运用基于双kd树的数据集划分法对输入数据集进行空间上的划分，再运用双kd树的遍历剪枝法求得简化欧氏距离并存储；根据简化欧式距离及相关索引，采用平方指数核函数，求得训练数据集与测试数据集的核函数矩阵K_*以及训练数据集自身的核函数矩阵K；运用Cholesky分解算法快速求得核函数矩阵K的逆矩阵K^-1；最后，由训练数据集自身的核函数矩阵K的逆矩阵K^-1、训练数据集与测试数据集之间的核函数矩阵K_*以及输入的目标函数值，求得预测结果向量；

所述基于双kd树的数据集划分法，用于空间划分数据，在高斯过程回归的计算中，对于训练数据集R和测试数据集Q，分别按照相同的规则构建R和Q各自的kd树T_R、T_Q；通过对此两个kd树同时进行遍历、计算及剪枝，最终求得核函数矩阵；

所述双kd树的遍历剪枝法，用于双kd树的遍历、计算及剪枝；从两个kd树各自的根节点开始，分别计算两kd树对应节点的距离；设一个阈值∈，当计算得到的节点间距离大于∈的值时，根据核函数的计算性质，则认为此两节点间的距离为无穷大，对此两节点进行剪枝处理，不再递归这两节点及其所有的子节点；对于距离值小于∈的节点，继续递归计算直到递归完毕所有节点并且每个叶子节点都至少被计算过一次；

所述基于高阶分治的核函数矩阵求解法，用于求解核函数矩阵；根据上述双kd树的计算结果，求得核函数矩阵的值；核函数是定义数据点间相似性或距离的函数，因此根据两数据点间的距离x-x′计算相应的核函数值；

所述Cholesky分解算法，用于核函数矩阵求逆；即应用Cholesky分解的核函数矩阵快速求逆，对于矩阵求逆的过程，运用Cholesky分解算法加快求逆的效率，加速高斯过程回归的预测效率。

作为优选的技术方案，运用广义N体问题的通用求解方法——基于划分数据结构的高阶分治算法分别求解训练数据集自身的核函数矩阵K和训练数据集与测试数据集之间的核函数矩阵K_*。