[发明专利]一种大数据预分析的方法及装置

说明书

本发明公开了一种大数据预分析的方法及装置，通过数据获取模块获取样本数据，根据预设的数据结构将所述样本数据建立样本数据集并存储至服务器主体中；数据识别模块对所述样本数据集进行异常值识别并处理，生成过滤数据集；数据聚类模块对所述过滤数据集进行聚类，得到标准数据集；数据训练模块将所述标准数据集进行训练分析，得到所述标准数据集的数据分析模型；数据分析模块获取待分析数据，将所述待分析数据通过所述数据分析模型进行分析，得到分析结果，通过所述服务器主体将所述结果转发给用户的显示设备；本发明通过获取海量的样本数据进行训练分析，有利于提高样本数据集的训练分析，提高数据分析模型中数据关系的平稳性。

技术领域

本发明涉及大数据采集预分析领域，具体涉及一种大数据预分析的方法及装置。

背景技术

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征，面对海量的数据，在前期需要将获取的大数据进行处理预分析，以便快速得到大数据的分析结果。

发明内容

本发明的目的在于提供一种大数据预分析的方法及装置，通过对获取海量的样本数据进行训练分析，可以得到海量样本数据之间的关系得到数据分析模型，通过预设的数据结构对样本数据进行初期分析，得到样本数据集，有利于提高后期对样本数据集的训练分析，将样本数据集进行异常值识别并处理，得到过滤数据集，可以有效消除异常值对构建数据分析模型的影响，提高数据分析模型中数据关系的平稳性，进一步地对过滤数据集进行聚类得到标准数据集可以提高模型的训练速度，对标准数据集进行训练分析，得到标准数据集的数据分析模型，通过数据分析模型达到对大数据预分析的目的，有效提高对大数据分析的效率，解决了现有技术方案中对大数据预分析效率低的问题；

本发明对样本数据集进行异常值识别并处理时，通过均值计算公式对样本数据集中数据进行均值计算，得到样本数据集中数据的样本平均值，利用公式对样本数据集进行样本标准差计算得到样本数据集的样本标准差，继续利用公式对样本数据集进行检验统计量进行计算，得到样本数据集的检验统计量，根据检验统计量计算得到检验临界值，通过检验临界值对样本数据集检验计算得到的结果进行判断，可以有效提取样本数据集中的异常值，通过公式对异常值进行计算判断，得到高度异常值或者低度异常值，并做进一步的处理，达到对样本数据集中异常值的识别和处理，有效提高样本数据集中样本数据的准确性和平稳性，为数据分析模型的构建提供了有效的数据，解决了现有技术方案中样本数据集中样本数据不可靠导致模型分析的结果误差大的问题。

本发明的目的可以通过以下技术方案实现：

一种大数据预分析的方法，所述方法包括：

步骤一：数据获取模块获取样本数据，根据预设的数据结构将所述样本数据建立样本数据集并存储至服务器主体中；

步骤二：数据识别模块对所述样本数据集进行异常值识别并处理，生成过滤数据集；

步骤三：数据聚类模块对所述过滤数据集进行聚类，得到标准数据集；

步骤四：数据训练模块将所述标准数据集进行训练分析，得到所述标准数据集的数据分析模型；

步骤五：数据分析模块获取待分析数据，将所述待分析数据通过所述数据分析模型进行分析，得到分析结果，通过所述服务器主体将所述结果转发给用户的显示设备。

优选的，所述对所述样本数据集进行异常值识别并处理，生成过滤数据集的具体步骤包括：

步骤一：利用公式对所述样本数据集进行均值计算，得到所述样本数据集的样本平均值；其中n表示所述样本数据集中的样本数据值，μ表示所述样本数据集的样本平均值；