[发明专利]一种大数据测试方法和装置

说明书

本发明公开了一种大数据测试方法和装置，涉及数据测试技术领域。该方法的具体实施方式包括：同比例设计并搭建大数据测试集群架构；其中，查询引擎单独部署；设定所述大数据测试的前提条件；其中，前提条件包括，为不同的列式存储格式设定统一的压缩格式；根据实际生产环境设计不同的测试场景并定义分析角度；根据所述前提条件、所述测试场景在所述集群架构中进行测试，获取测试结果并进行分析。该实施方式能够弥补当前大数据测试中存储格式测试的不足，提升计算效率、降低硬件存储成本，且可适用多种应用场合，为决策提供高效的数据支持。

技术领域

本发明涉及数据测试技术领域，尤其涉及一种大数据测试方法和装置。

背景技术

在大数据计算及分析应用的过程中，集群硬件设备、数据组织格式、文件存储格式、上层查询引擎等等，都会影响数据的存储成本和计算效率。目前的大大数据测试方法主要包括：(1)基于搭建少量硬件集群节点进行大数据测试，该方法适用于运营成本及硬件配置相对较低的数据测试，仅对小部分数据进行测试分析，不关注数据存储格式；(2)基于单一存储格式进行大数据测试，该方法适用于单一的数据存储格式的数据测试，仅针对数据进行数据逻辑校验。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

基于搭建少量硬件集群节点进行大数据测试时，由于集群环境的硬件配置、集群单一性的限制，测试数据量过少，无法进行数据存储格式校验、数据层和业务层逻辑校验；基于单一存储格式进行大数据测试时，无法模拟业务层逻辑校验，并对多种数据存储格式进行对比。实际应用时，如果无法满足业务需求，则会导致组件选型失败，需要投入较大成本重建大数据组件。

发明内容

有鉴于此，本发明实施例提供一种大数据测试方法和装置，能够弥补当前大数据测试中存储格式测试的不足，提升计算效率、降低硬件存储成本，且可适用多种应用场合，为决策提供高效的数据支持。

为实现上述目的，根据本发明实施例的一个方面，提供了一种大数据测试方法，包括：

同比例设计并搭建大数据测试集群架构；其中，查询引擎单独部署；

设定所述大数据测试的前提条件；其中，前提条件包括，为不同的列式存储格式设定统一的压缩格式；

根据实际生产环境设计不同的测试场景并定义分析角度；

根据所述前提条件、所述测试场景在所述集群架构中进行测试，获取测试结果并进行分析。

可选地，所述同比例设计并搭建大数据测试集群架构，包括：

所述测试集群架构的操作系统版本、组件版本需与生产环境的集群架构的操作系统版本、组件版本保持一致，所述测试集群架构的硬件环境、集群节点数量等需与生产环境的集群架构的硬件环境、集群节点数量等保持一致的情况下同比例缩小。

可选地，所述查询引擎为Hive查询引擎。

可选地，所述不同的列式存储格式包括RCFile列式存储格式、ORC列式存储格式、Parquet列式存储格式。

可选地，所述测试场景包括：单个宽表查询场景、单表Join查询场景、多表Join查询场景、包含Map，List等的复杂数据结构查询场景、多层嵌套数据的复杂数据结构查询场景、星型模型测试场景、雪花模型测试场景、数据导入查询场景。

可选地，所述数据表结构异同查询场景包括4个场景，每个场景包含6个BigInt、6个Int、12个String、6个Date、6个Double等类型数据中的一项或多项。

可选地，所述大数据测试采用TPC-DS实现。

可选地，所述获取测试结果并进行分析，包括：

对所述不同的列式存储格式的所述测试结果进行对比分析。