[发明专利]连续变量数据集同分布分割的子空间随机抽样方法

说明书

本发明公开了一种连续变量数据集同分布分割的子空间随机抽样方法，包括以下步骤：一、导入数据集；二、随机选取多维空间数据集的一个维度并对多维空间数据集进行分割；三、随机选取多维空间数据集的下一维度并对上一维度所有子空间进行分割；四、判断多维空间数据集中是否还有维度；五、获取多维空间数据集在N个维度下的所有子空间并均匀随机抽样；六、获取连续变量多维空间数据集同分布分割的数据子集。本发明利用分位数，依据数据的分布将样本空间分割成相应的子空间，使得子空间的分布与样本空间的分布疏密相同，将均匀抽样限定在指定的子空间内，子空间的分布体现数据集的整体分布，“整体抽偏”得到遏制，同分布地分割数据集。

技术领域

本发明属于数据集样本随机抽样技术领域，具体涉及一种连续变量数据集同分布分割的子空间随机抽样方法。

背景技术

为保证模型的泛化性能，有指导机器学习将现有数据分割成训练集和验证集，从训练集得到的模型由验证集测试其性能。然而如何将数据集同分布地分割，即：将分布在空间中的一簇样本点分割成子集，使得子集中的样本与母集中的样本在空间中疏密相同。这个问题对于有指导机器学习尤为重要：为保证模型的泛化性能，须将现有数据独立地分割为训练集与验证集，由训练集拟合得到模型，然后由验证集检测该模型的性能。要达到此目的，必须保证训练集与验证集与其母集“同分布”，即训练集与验证集要能很好地“代表”母集，若数据的各维度都是连续型变量，则表现为分割得到的子集在样本空间上与母集“疏密一致”。如果不能保证分割得到的训练集与验证集与其母集“同分布”，则训练得到的模型是有偏的，即该模型不能体现整体数据的特点，由验证集得到的性能指标也是有偏的，不能准确判定模型的性能。众多的学习算法是对数据分布敏感的，比如线性回归、Logistic回归，利用简单随机抽样在数据集的整体范围内不放回独立均匀抽样，其高方差是由于其抽样的范围是数据集的整体，其不免会有“整体抽偏”的情况，以线性回归为例：二维空间中分布着一簇样本点，用一元线性回归探究变量x与y之间的函数关系：由全体样本点回归得到图1中的实线，较准确地呈现了x与y之间的函数关系。选择部分数据作为训练集，剩下的部分作为验证集，若选择的数据不与母集同分布，比如较为极端地选择了实线上部的样本点(实心点)作为训练集，则线性回归如图2中虚线，其在整体上偏离了实线，一方面由此训练集回归得到的模型不能准确地呈现了整体样本点x与y之间的函数关系，另一方面如将剩下的点(空心点)作为验证集，也不能客观、准确地判定模型的性能。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种连续变量数据集同分布分割的子空间随机抽样方法，利用分位数，依据数据的分布将样本空间分割成相应的子空间，使得子空间的分布与样本空间的分布疏密相同，将均匀抽样限定在指定的子空间内，同时子空间的分布体现数据集的整体分布，“整体抽偏”得到遏制，同分布地分割数据集，使得训练和验证工作高效进行，为完成有指导机器学习提供高效的数据抽样前提，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：连续变量数据集同分布分割的子空间随机抽样方法，其特征在于，该方法包括以下步骤：

步骤一、导入数据集：导入样本点构成的多维空间数据集，所述多维空间数据集共有N个维度，其中，N为不小于1的正整数；