[发明专利]一种基于正态分布的数据选优方法

说明书

本发明特别涉及一种基于正态分布的数据选优方法。该基于正态分布的数据选优方法，采集数据信息，并将采集到的数据信息转化为数值保存到数据库中备用；检查数据的一致性，并对无效值和缺失值进行处理；以清洗过的数据为变量x，根据正态分布的概率密度函数得到变量x正态分布曲线f(x)，将正态分布曲线与x轴围成的面积设为1，根据优选数据在所有数据中所占的比例A，通过正态分布累计密度函数的反函数，即可求得最优数值x₀。该基于正态分布的数据选优方法，综合考虑了数据的离散程度和分布状况，从而避免了常规的选优策略容易出现的不公平问题，使数据选优结果更加合理，更能反映全局数据的实际情况，提高了数据选优的准确率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于正态分布的数据选优方法。

背景技术

数据选优是指从群体中选择出相对优秀的个体，通常的方法，是先将个体按照所观察的属性进行优劣排序，然后选择排名靠前的个体。

例如在研究商品时，经常需要判断某个商品在哪些市场销售状况好，哪些市场销售状况差，根据销售状况的不同，制定相关的激励制度。一般而言，技术人员会将各个市场按照商品销售状况，由好到坏进行排序，前几名即为优。但是这样做有个很明显的弊端，假设市场数量为10，销售状况评分依次为：99、95、93、92、85、83、81、78、76、71；其中，前三名：99、95、93评级为优秀、但是第四名92与第三名93只相差一分，显然这种方法没有考虑到全局数据的分布状况。同时，该方法选出的数据无法反映全局数据的实际情况，容易使技术人员对全局情况造成误解，从而做出错误判断。

针对这一弊端，本发明提出了一种基于正态分布的数据选优方法

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于正态分布的数据选优方法。

本发明是通过如下技术方案实现的：

一种基于正态分布的数据选优方法，其特征在于：包括以下步骤：

第一步，数据采集

针对研究对象采集数据信息，并将采集到的数据信息转化为数值保存到数据库中备用；

第二步，数据清洗，去除异常值

检查数据的一致性，检查数据是否合乎要求，查找出超出正常范围以及逻辑上不合理或者相互矛盾的数据，确保每个数据均处于合理取值范围和相互关系，并对无效值和缺失值进行处理；

第三步，建立模型

以清洗过的数据为变量x，求出变量x的均值μ与标准差σ，并根据正态分布的概率密度函数得到变量x正态分布曲线f(x)，概率密度函数如下式：

其中，μ为均值，σ为标准差；

第四步，结果输出

将正态分布曲线与x轴围成的面积设为1，根据优选数据在所有数据中所占的比例A，通过正态分布累计密度函数的反函数，即可求得最优数值x₀。

所述第二步中，当数据缺失较少，缺失机制明确时，数据清洗采用回归(Regression)算法推算出缺失值或无效值的估算值，并根据估算结果对缺失值或无效值进行填充。

所述第二步中，将所有被选入的连续变量设为自变量，将存在缺失值或无效值的变量设为因变量建立回归方程，在得到回归方程后使用回归方程对因变量相应的缺失值或无效值进行填充。

为了使填充数值更接近实际情况，所述因变量的填充数值为回归预测值与回归残差相加之和。