[发明专利]一种基于矩阵逻辑思想的大数据测试系统及方法

权利要求书

1.一种基于矩阵逻辑思想的大数据测试系统，其特征在于：它包括大数据采集模块、大数据处理模块、大数据测试模块和大数据存储模块，各个模块之间相互通信连接；

所述大数据采集模块用于从数据源中采集数据；

所述大数据处理模块用于对数据的ETL过程进行处理；

所述大数据测试模块用于对数据的ETl过程进行测试；

所述大数据存储模块用于将大数据测试结束后并更改修复后的数据同步至目标数据仓库的HIVE。

2.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述数据源包括传感器、智能设备、在线系统、离线系统、社交网络和互联网平台；所述的数据采集方式包括数据库采集、系统日志采集、网络数据采集和感知设备数据采集。

3.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述的大数据处理模块包括对数据的提取、转换、载入的过程中进行在线处理，在MapReduce处理数据的过程中对数据进行清洗、集成、转换、消减。

4.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述的大数据测试模块包括三个测试阶段，第一阶段：数据阶段验证测试；第二阶段：MapReduce阶段测试；第三阶段：输出数据阶段验证测试，并将大数据测试结束后并更改修复后的数据同步至大数据存储模块。

5.一种基于矩阵逻辑思想的大数据测试方法，其特征在于，包括以下步骤：

S1、在数据ETL过程中，进行大数据测试第一阶段：数据阶段测试验证；

S2、在数据ETL过程中， 进行大数据测试第二阶段：MapReduce阶段测试验证；

S3、在数据ETL过程中， 进行大数据测试第三阶段：输出数据阶段验证测试，在进行上述的MapReduce阶段测试验证后，得到MapReduce过程后的结果，将结果数据写入分布式文件系统HDFS，基于HDFS作为底层支持中的这些数据结果生成高并发分布式数据库HBase；

S4、在分布式HBase中，依据它的数据模型增强的系数排序映射表进行分类，包括行关键字或列关键字或时间戳；

S5、在矩阵框架模型中，依据分类的数量创建矩阵框架，在矩阵框架中矩阵横向输入为待测数据的用例。

6.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法，其特征在于：步骤S1中，第一阶段测试验证内容包括：测试验证各方面的数据资源是否被正确的加载进Hadoop系统中、测试验证源数据与推送到Hadoop系统中的数据是否匹配、测试验证正确的数据是否被提取和加载到正确的位置。

7.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法，其特征在于：步骤S2中，第二阶段测试验证内容包括：在MapReduce处理HDFS中的数据的期间，在整个分布式设备系统中，测试验证单一节点和多个节点上MapReduce是否正常运行、测试验证输出的文件是否正确、测试验证MapReduce处理过程的键值key-value对是否正确生成、测试验证在归约Reduce过程结束后数据的聚集合并是否正确。

8.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法，其特征在于：步骤S5中，待测数据的用例包括数据的准确性、唯一性、完整性、一致性、关联性、及时性。

9.根据权利要求5所述的基于矩阵逻辑思想的大数据测试方法，其特征在于：步骤S5中，矩阵横向使用AdaBoost迭代算法为当前待测数据的用例创建弱分类器；矩阵纵向使用Bagging优化整合算法，纵向整合各分类的弱分类器为强分类器。

10.根据权利要求9所述的基于矩阵逻辑思想的大数据测试方法，其特征在于：所述的弱分类器可判断当前分数数据下的横向输入的数据测试用例是否准确，所述强分类器可判断当前分类数据下的所有横向输入数据测试的用例是否准确。