[发明专利]一种基于矩阵逻辑思想的大数据测试系统及方法

说明书

本发明公开了一种基于矩阵逻辑思想的大数据测试系统及方法，它包括大数据采集模块、大数据处理模块、大数据测试模块和大数据存储模块，各个模块之间相互通信连接；在大数据的ETL过程中进行三个测试阶段，包括：数据阶段验证测试、MapReduce阶段测试和输出数据阶段验证测试，并将大数据测试的数据同步至大数据存储模块；对大数据测试的第三阶段输出阶段验证进行测试，完成数据的准确性、唯一性、完整性、一致性、关联性、及时性等测试任务，确保数据的质量，使数据更好的、更准确的应用于业务上的决策分析和推荐系统。

技术领域

本发明属于大数据测试领域，特别是对于大数据测试第三阶段使用分布式数据库HBase分类后应用于矩阵逻辑思想完成测试任务，具体涉及一种基于矩阵逻辑思想的大数据测试系统及方法。

背景技术

大数据，已经成为了一个时代的代名词，大数据时代的到来，颠覆了以往对数据的惯性思考方式，随着移动互联网和智能设备的兴起，越来越多的数据被沉淀到各大公司的应用平台之上，这些包含大量用户特征和行为日志的数据被海量地存储起来，先经过统计分析与特征样本提取，然后再经过训练就会产出相应的业务算法模型，它可以精准地识别和预测用户的行为和意图，但是在用于上述的决策分析或推荐系统之前，如何确保数据的准确性和符合要求，对大数据的测试就显得尤为重要。

发明内容

有鉴于此，本发明的目的是提供一种基于矩阵逻辑思想的大数据测试系统及方法，可以克服现有技术的不足。

本发明的技术方案是：

一种基于矩阵逻辑思想的大数据测试系统，它包括大数据采集模块、大数据处理模块、大数据测试模块和大数据存储模块，各个模块之间相互通信连接；

所述大数据采集模块用于从数据源中采集数据；

所述大数据处理模块用于对数据的ETL过程进行处理；

所述大数据测试模块用于对数据的ETl过程进行测试；

所述大数据存储模块用于将大数据测试结束后并更改修复后的数据同步至目标数据仓库的HIVE。

前述数据源包括传感器、智能设备、在线系统、离线系统、社交网络和互联网平台；所述的数据采集方式包括数据库采集、系统日志采集、网络数据采集和感知设备数据采集。

前述的大数据处理模块包括对数据的提取、转换、载入的过程中进行在线处理，在MapReduce处理数据的过程中对数据进行清洗、集成、转换、消减。

前述的大数据测试模块包括三个测试阶段，第一阶段：数据阶段验证测试；第二阶段：MapReduce阶段测试；第三阶段：输出数据阶段验证测试，并将大数据测试结束后并更改修复后的数据同步至大数据存储模块。

一种基于矩阵逻辑思想的大数据测试方法，其特征在于，包括以下步骤：

S1、在数据ETL过程中，进行大数据测试第一阶段：数据阶段测试验证；

S2、在数据ETL过程中，进行大数据测试第二阶段：MapReduce阶段测试验证；

S3、在数据ETL过程中，进行大数据测试第三阶段：输出数据阶段验证测试，在进行上述的MapReduce阶段测试验证后，得到MapReduce过程后的结果，将结果数据写入分布式文件系统HDFS，基于HDFS作为底层支持中的这些数据结果生成高并发分布式数据库HBase；

S4、在分布式HBase中，依据它的数据模型增强的系数排序映射表进行分类，包括行关键字或列关键字或时间戳；

S5、在矩阵框架模型中，依据分类的数量创建矩阵框架，在矩阵框架中矩阵横向输入为待测数据的用例。

前述的大数据测试方法，步骤S1中，第一阶段测试验证内容包括：测试验证各方面的数据资源是否被正确的加载进Hadoop系统中、测试验证源数据与推送到Hadoop系统中的数据是否匹配、测试验证正确的数据是否被提取和加载到正确的位置。