[发明专利]一种基于大数据的并行方差分析方法及装置

权利要求书

1.一种基于大数据的并行方差分析方法,其特征在于，该方法包括：

利用分布式文件系统HDFS读取试验数据，并存储所述试验数据，所述试验数据为：行为m、列为p的矩阵，矩阵的每个元素为试验数据X_ijx，其中，m代表因素A中不同影响水平的个数，因素A中不同影响水平记为A1、A2、…、Ai、…、Am，r代表因素B中不同水平的个数，因素B中不同影响水平记为B1、B2、…、Bj、…、Br，s代表重复做试验的次数；Ai和Bj所做的试验数据为X_ij1、X_ij2、…、X_ijx、…、X_ijs；i∈[1,2,L,m]，j∈[1,2,L,r],x∈[1,2,L,s]，i、j、x、s、m和r属于自然数，且s、m和r中至少两项不能同时取零；

创建一个程序初始运行环境SparkContext；

根据所有试验数据，在所述SparkContext中计算统计量F；

加载F分布表，并查询F分布表，获得F_α值，获取信度阈值α＝s0和α＝s1，利用F分布表，根据信度阈值α＝s0和α＝s1在组间的自由度和组内的自由度对应寻找F_s0和F_s1；其中，F_α为因素A的信度α对应的统计量，F_s0为因素A的信度阈值s0对应的统计量，F_s1为因素A的信度阈值s1对应的统计量；

比较F_s0、F_s1和F，若F＜F_s0，则影响不显著，F_s1≤F＜F_s0，则影响一般显著；若F_α≥F_s1，则影响高度显著。

2.如权利要求1所述的方法,其特征在于，所述利用分布式文件系统HDFS读取形式如下矩阵的试验数据，包括：

利用分布式文件系统HDFS读取当m≠0、r＝0、s≠0时矩阵中的试验数据，所述当m≠0、r＝0、s≠0时矩阵中的试验数据为：行为m、列为s的试验数据X_ix。

3.如权利要求1所述的方法,其特征在于，所述利用分布式文件系统HDFS读取形式如下矩阵的试验数据，包括：

利用分布式文件系统HDFS读取当m≠0、r≠0、s＝1时矩阵中的试验数据，所述m≠0、r≠0、s＝1时矩阵中的试验数据为：行为m、列为r的试验数据X_ij。

4.如权利要求1所述的方法,其特征在于，所述利用分布式文件系统HDFS读取形式如下矩阵的试验数据，包括：

利用分布式文件系统HDFS读取当m≠0、r≠0、s≠0时矩阵中的试验数据，所述m≠0、r≠0、s≠0时矩阵中的试验数据为：行为m、列为r·s的试验数据X_ijx。