[发明专利]一种三维变量间相关性衡量方法及指标优化方法

说明书

本发明公开了一种三维变量间相关性衡量方法及指标优化方法，涉及数据挖掘技术领域，能够实现对三维变量间相关性的衡量，并进一步地对难以直接进行优化的指标进行间接优化。该方法包括：构建三维变量；三维变量包括三个随机变量X、Y和Z。构建三维变量样本；依据三维变量样本建立三个随机变量X、Y和Z分布的三维散点图，其中三个随机变量X、Y和Z分别分布在x维度，y维度以及z维度上。以立方网格划分三维散点图，立方网格为一个x₀×y₀×z₀的立方网格，x₀，y₀，z₀进行随机取值。在每一种x₀，y₀，z₀的取值情况下，计算三个随机变量X、Y和Z的最大互信息值，取所有最大互信息值中的最大值作为最大三维信息系数MTDIC。利用MTDIC作为三维变量间的相关性值。

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种三维变量间相关性衡量方法及指标优化方法。

背景技术

在数据挖掘分析中，变量间相关性分析便是其中重要的一环。想象一个数据集中有上百个变量，那么可组合为成千上万变量组合，这些变量之间隐藏的很多重要的依赖关系。挖掘这其中的潜在关系也变得越来越有意义。在变量间的相关性分析的研究中，目前很多方法用于衡量两个变量间的相关性。比如Pearson’s correlation coefficient,Distance Correlation,maximal correlation,principle curve-based method,maximalcorrelation coefficient and Maximal Information Coefficient(MIC)。而关于多变量之间相关性衡量，目前的研究相对较少，且其基础仍以分析两两变量间相关性为主。

发表在《Science》杂志上的关于新统计方法MIC的文章，其中提到了在衡量变量间相关性的两个重要特性即通用性和均匀性。通用性指的是对于足够的样本数据，统计方法也可捕捉广泛的关系类型，不仅仅局限于特定的函数类型，如线性、指数、对数或者抛物线函数关系，还涵盖了其他所有的函数关系。目前很多重要的关系类型不仅仅是单一的函数形式，很多关系是不能被某种特定的函数描述，比如两个函数的叠加形式。而公平性指的是，对于具有相同噪声程度，而非相同的关系，相关性度量方法能够给出的相关性值极其相近。例如，如果不希望具有噪声的线性关系掩盖强大的正弦关系。均匀性对于一般的关系很难形式化描述，但对于函数类型的基本情况可以给出一个明确的解释：一个具有均匀性的统计方法对于R²值(R²为线性回归的决定系数)接近的函数关系(有足够的样本量)应该给出相近的度量。例如，在合理的样本大小下，一个噪声程度R²＝0.8的正弦关系和具有同样R²值的线性关系应该具有相似的MIC值。

目前传统的用于衡量两个随机变量间相关性的方法几乎没有能同时满足通用性和均匀性这两个特性。用于衡量三维变量间相关性的方法，基本上仍以传统方法分析两两变量间相关性为基础。而并非将三个随机变量作为一个整体来进行处理。这就暴露出两个明显的问题。首先，采用在均匀性和通用性上存在缺陷的双变量相关性衡量方法来处理多维变量间关系，这就使得三维变量间相关性强弱结果也存在偏差。其次分析三维变量间相关性的问题上，采用的仍为两两变量间相关性来处理，缺少一个衡量三维变量间整体相关性的统计量作为理论支撑。

目前这种变量间相关性的数据分析的应用非常广泛，最明显的应用是针对一些难以进行优化的物理指标的间接优化方式，对于这种难以进行优化的物理指标，可以通过求解该指标与其他指标相关性的方式，找到与该指标相关性较强的其他指标，通过优化其他指标以达到优化该难以进行直接优化的物理指标。

尤其是若有两种难以直接优化的物理指标，二者之间具有一定的相关性，因此可以通过三维变量相关性求解的方式，找到另外一个与上述两种安逸直接优化的物理指标相关性强的、且容易进行优化的物理指标，通过优化该指标，即可达到同时优化以上两种难以直接优化的物理指标的目的。