[发明专利]一种数据筛选方法及数据筛选装置

权利要求书

1.一种数据筛选方法，其特征在于，所述数据筛选方法包括：

获取待筛选数据集合，并基于所述待筛选数据集合中的离散数据绘制散点图，其中，所述散点图中每个离散点的第一变量值沿所述散点图的横坐标轴分布，所述散点图中每个离散点的第二变量值沿所述散点图的纵坐标轴分布；

基于所述散点图中每个离散点的分布特点，确定连接多个离散点的拟合曲线和所述拟合曲线的拟合度；

若所述拟合曲线的拟合度小于预设阈值，基于每个离散点到所述拟合曲线的距离，构建概率分布模型，其中，所述概率分布模型表示所述每个离散点到所述拟合曲线的距离值的分布情况；

基于所述概率分布模型的平均值和标准误差值，以及获取到的显著性水平值，确定全部离散点到所述拟合曲线的距离值的置信度区间范围，其中，所述显著性水平值为预先设置的离散点到所述拟合曲线的距离值未落在所述置信度区间范围内的概率值；

确定全部离散点中与所述拟合曲线之间的距离值位于所述置信度区间范围之外的离散点对应的离散数据，将确定的该离散数据从所述待筛选数据集合中筛除，并确定筛除该离散数据之后的数据集合为目标数据集合。

2.根据权利要求1所述的数据筛选方法，其特征在于，在所述确定全部离散点中与所述拟合曲线之间的距离值位于所述置信度区间范围之外的离散点对应的离散数据，将确定的该离散数据从所述待筛选数据集合中筛除，并确定筛除该离散数据之后的数据集合为目标数据集合之后，所述数据筛选方法还包括：

确定所述目标数据集合为所述待筛选数据集合，并返回至所述获取待筛选数据集合，并基于所述待筛选数据集合中的离散数据绘制散点图的步骤，再次对所述目标数据集合中的离散数据进行筛选；

直至所述待筛选数据集合对应的拟合曲线的拟合度大于所述预设阈值时，确定所述待筛选数据集合中的数据筛选完成，并最终得到数据筛选后的目标数据集合。

3.根据权利要求1所述的数据筛选方法，其特征在于，通过以下方式确定所述拟合曲线的拟合度：

其中，R²为所述拟合曲线的拟合度，为残差平方和，为总平方和。

4.根据权利要求1所述的数据筛选方法，其特征在于，所述基于所述概率分布模型的平均值和标准误差值，以及获取到的显著性水平值，确定全部离散点到所述拟合曲线的距离值的置信度区间范围，其中，所述显著性水平值为预先设置的离散点到所述拟合曲线的距离值未落在所述置信度区间范围内的概率值，包括：

基于所述显著性水平值，确定与所述显著性水平值对应的标准分数值；

基于所述概率分布模型的平均值、标准误差值和标准分数值，确定每个离散点到所述拟合曲线的距离值的置信度区间范围的上限值和下限值。

5.根据权利要求4所述的数据筛选方法，其特征在于，所述基于所述概率分布模型的平均值、标准误差值和标准分数值，确定每个离散点到所述拟合曲线的距离值的置信度区间范围的上限值和下限值，包括：

通过以下方式，确定每个离散点到所述拟合曲线的距离值的置信度区间的上限值：

A₁＝μ+Z*σ；

其中，A₁为所述距离值的置信度区间的上限值，μ为所述概率分布模型的标准误差，Z为标准分数值，σ为所述概率分布模型的平均值；

通过以下方式，确定每个离散点到所述拟合曲线的距离值的置信度区间的下限值：

A₂＝μ-Z*σ；

其中，A₂为所述距离值的置信度区间的下限值，μ为所述概率分布模型的标准误差，Z为标准分数值，σ为所述概率分布模型的平均值。