[发明专利]基于跨维马尔科链蒙特卡罗的自适应多项式回归方法

说明书

基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，其特征在于，包括以下步骤：建立含有多项式回归中多项式阶次和多项式系数的图模型；针对多项式回归问题，提出出生和死亡两种跨维的参数状态转移策略及一个不变维的参数更新策略，并采用一种基于跨维马尔科夫链蒙特卡罗的跨维联合寻优的设计思想，来进行参数的贝叶斯推理；实现了一种根据待回归的已知数据能够自适应地确定多项式的最优阶次和多项式的系数的自适应多项式回归方法，具有很好的鲁棒性。

技术领域

本发明属于信号处理技术领域，具体涉及基于跨维马尔科夫链蒙特卡罗(Trans-dimensional Markov Chain Monte Carlo,TDMCMC)的多项式回归方法，其方法可以用在很多需要自适应确定多项式最优阶次的数据处理问题中。

背景技术

回归分析(regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。多项式回归是回归分析中的重要方法，用于很多领域。经典的多项式回归问题其实仍是一个难点问题，主要是给定已知的数据点多项式阶次的选择仍比较难，而过去常常是多项式阶次假设已定情况下进行多项式的拟合或回归分析，如果多项式阶数过高，会出现过拟合的现象；多项式阶数过低，不能很好的对数据进行回归。因此，研究能够自适应确定多项式阶数的多项式回归方法在该领域进行广泛和深入的研究具有极其重要的意义。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，实现一种可以自适应地确定多项式的阶次以及系数，采用基于跨维马尔科夫链蒙特卡罗(Trans-dimensional Markov Chain Monte Carlo,TDMCMC)方法能够对参数进行跨维寻优，实现多项式阶次和多项式系数的联合估计。

为了实现上述目的，本发明采用的技术方案是：

基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，其特征在于，包括以下步骤：

首先，建立含有多项式阶次和多项式系数参数的图模型，即建立包含多项式阶次和多项式系数的贝叶斯模型；

然后，针对多项式回归问题，提出出生和死亡两种跨维的参数状态转移策略及一个不变维的参数更新策略；而后，基于跨维马尔科夫链蒙特卡罗方法，基于给定数据样本，实现多项式回归模型阶次和多项式系数的联合寻优；

具体的跨维转移核策略是：多项式阶次变高，对应出生过程，模型变为M+1阶，新生成第M+1阶的多项式系数；多项式模型阶次变低，对应死亡过程，多项式模型由M阶变为M-1阶，此时多项式其他系数不变。

所述的基于跨维马尔科夫链蒙特卡罗的自适应多项式回归方法，包括以下步骤：

步骤1，建立有向无环概率图模型，用于对多项式回归问题中多项式系数向量a和方差σ²等未知参数后验推理的贝叶斯模型描述；

步骤2，提出出生和死亡两种跨维的参数状态转移策略及一个不变维的参数更新策略；具体如下：

1)出生过程

多项式的回归问题中，设计的出生过程是指多项式的阶次增加1的过程，即相对于原有的M阶多项式，多出生一个高阶项x^M+1，因此，多项式的阶次由M变为M+1，多项式的系数也多了一个，每次出生的多项式首次系数先选取为1，而后基于更新策略更新，若最高次项系数小于某个较小值，则舍去；

2)死亡过程

多项式的回归问题中，死亡过程是指多项式的阶次减1的过程，即相对于原有的M阶多项式，舍去最高阶项x^M，因此，多项式的阶次由M变为M-1，多项式的系数也少了一个，多项式的其他低阶系数保持不变；

3)不变维时多项式系数更新过程