[发明专利]一种大数据预分析的方法及装置

权利要求书

1.一种大数据预分析的方法，其特征在于，所述方法包括：

步骤一：数据获取模块获取样本数据，根据预设的数据结构将所述样本数据建立样本数据集并存储至服务器主体(1)中；

步骤二：数据识别模块对所述样本数据集进行异常值识别并处理，生成过滤数据集；

步骤三：数据聚类模块对所述过滤数据集进行聚类，得到标准数据集；

步骤四：数据训练模块将所述标准数据集进行训练分析，得到所述标准数据集的数据分析模型；

步骤五：数据分析模块获取待分析数据，将所述待分析数据通过所述数据分析模型进行分析，得到分析结果，通过所述服务器主体(1)将所述结果转发给用户的显示设备。

2.根据权利要求1所述的一种大数据预分析的方法，其特征在于，所述对所述样本数据集进行异常值识别并处理，生成过滤数据集的具体步骤包括：

步骤一：利用公式对所述样本数据集进行均值计算，得到所述样本数据集的样本平均值；其中n表示所述样本数据集中的样本数据值，μ表示所述样本数据集的样本平均值；

步骤二：利用公式对所述样本数据集进行样本标准差计算，得到所述样本数据集的样本标准差，其中,i表示所述样本数据集中的样本数据值,i的取值范围为[1,n],s表示所述样本数据集的样本标准差；

步骤三：利用公式对所述样本数据集进行检验统计量计算，得到所述样本数据集的检验统计量；其中，G_n表示所述样本数据集的检验统计量；

步骤四：根据所述检验统计量确定检验水平，通过公式B₁＝G₁-α(k)计算得到检验临界值；其中，α表示预设检验水平系数，k表示所述检验水平系数对应的检验值；

步骤五：通过所述检验临界值对所述样本数据集的检验统计量进行判断，当G_nB₁时,则判断x_n为异常值；否则判断无异常值；

步骤六：利用公式B₂＝G₁-α'(n)计算得到所述异常值的删除水平值；其中，α'(n)表示异常值的删除系数，当G_nB₂时,则判断x_n为高度异常值；否则判断x_n为低度异常值；

步骤七：对所述高度异常值进行删除，将所述低度异常值进行均值计算，得到低度均值，将所述低度均值替换所述低度异常值，并存储至所述样本数据集。

3.根据权利要求1所述的一种大数据预分析的方法，其特征在于，所述对所述过滤数据集进行聚类，得到标准数据集的具体计算步骤如下：

步骤一：随机选择所述过滤数据集中K个样本作为K个中心点；

步骤二：利用公式c＝min||x_i-u_k||²计算所述过滤数据集中的样本数据与K个所述中心的距离最小值；其中，x_i表示所述过滤数据集中的样本数据，u_k表示第K个中心点；

步骤三：根据所述样本数据与K个所述中心点的距离最小值，将所述样本数据归类至所述中心点，通过对所述过滤数据集中的样本数据进行迭代，直至所述过滤数据集中的所有所述样本数据均归类至K个所述中心点；

步骤四：获取K个所述中心点中所述样本数据的对象属性，将所述对象属性进行整合，并将整合后的所述对象属性作为指标组合样本类的属性，并在所述指标组合样本类的属性中添加设置方法和获取方法，得到K个指标组合样本类；

步骤五：将K个所述指标组合样本类中的数据进行归一化处理，得到划分为不同的指标组合的标准数据集。