[发明专利]一种基于大数据的并行方差分析方法及装置

说明书

本发明实施例提供了一种基于大数据的并行方差分析方法及装置,该方法包括：利用分布式文件系统HDFS读取试验数据，并存储所述试验数据，所述试验数据为：行为m、列为p的矩阵，矩阵的每个元素为试验数据X_ijx，其中，创建一个程序初始运行环境；根据所有试验数据，计算统计量F；加载F分布表，并查询F分布表，获得F_α值，获取信度阈值α＝s0和α＝s1，利用F分布表，根据信度阈值α＝s0和α＝s1在组间的自由度和组内的自由度对应寻找F_s0和F_s1；比较F_s0、F_s1和F，若FF_s0，则影响不显著，F_s1≤FF_s0，则影响一般显著；若F_α≥F_s1，则影响高显著。该方法实现了对大数据简化处理，进而进行大规模分析。

技术领域

本发明涉及数据统计技术领域，特别是涉及一种基于大数据的并行方差分析方法及装置。

背景技术

随着数据量的增长，数理统计成为处理信息、做出决策重要理论和方法，通过数理统方法可以从数据中获取信息和判断规律，从而作为数据挖掘工作的先导。

方差分析的前提条件是数据组之间满足独立，即事件一和事件二之间相互影响的概率，方差具有齐性，即各数据组方差相同，均为正态分布。其实质是检验多个正态分布总体均值是否相等，造成数据波动有两个原因：一是影响因素水平不同，二是来自偶然误差，方差分析的作用就是判断是哪一个原因造成的。方差分析包括单因素分析和多双因素分析，单因素分析包括单因素方差分析，多双因素分析包括双因素无重复方差分析和双因素等重复方差分析，其中，单因素方差分析得出该因素是否对数据造成显著性影响的结论，上述检验方法均在SPSS(Statistical Product and Service Solutions，统计产品与服务解决方案)中可以实现，SPSS可以根据输入数据得出一张表，表中信息包含：方差来源、偏差平方和、自由度、方差、计算所得F值、显著性水平(即最终结论)。

目前，现有软件SPSS对数据进行处理时，一行为一条数据，包括信息有：影响因素A的种类、影响因素B的种类、影响因素C的种类等等以及在这些条件下的试验结果。不同条件由不同列决定，这样就造成数据规模消耗较大，例如，有A,B两个因素，因素A包括10个不同的影响水平，因素B包括20个不同的影响水平，则有10*20＝200行数据记录，如表1所示，如果再进行重复试验2次，获得10*20*2＝400行数据，总的规模就是4列，400行，4*400。

表1 传统的试验数据表