[发明专利]大数据系统性能测试方法、装置及电子设备

说明书

本发明实施例提供一种大数据系统性能测试方法、装置及电子设备，涉及数据库技术领域。其中大数据系统性能测试方法包括：获取用户指定的用于基于测试基准针对大数据系统进行系统性能测试的测试参数；根据所述测c试参数和所述测试基准对应的测试指令生成规则，生成测试指令序列；根据所述测试指令序列中的指令顺序，针对所述大数据系统执行各个测试指令；根据测试结果，确定所述大数据系统的系统性能数据。采用本发明实施例提供的方法，使得自动化地测试大数据系统性能，从而有效减少测试时间、提高测试效率。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种大数据系统性能测试方法和装置，一种电子设备，以及一种计算机存储介质。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据系统的性能是一个需要监测的重要指标。

一种常用的用于测试大数据系统性能的方法是，基于事务处理性能委员会TPC测试基准(如TPC-H，TPC-C，BenchmarkSql，TPC-DS等)进行手工测试的方法。以基于TPC-DS测试基准为例，通过手工方式对大数据系统进行性能测试的过程大致包括如下步骤：1)使用TPC-DS自带的命令dsgen产生相应大小的数据；使用命令dsqgen产生结构化查询语句SQL(Structural Query Language)语句；2)在集群数据库里新建数据库和表；3)把生成的数据导入到集群数据库里；4)进行压力测试，如用上述生成的SQL语句对导入到数据库中的数据进行大量的查询、更新、插入、删除等复杂操作。

然而，上述手工测试的方法显然存在测试效率低的问题。因此，需要一种代替手工测试的方案，以实现基于测试基准对大数据系统的性能进行自动化测试，从而提升测试速度及工作效率。

发明内容

本发明实施例提供一种大数据系统性能测试的方法、装置及电子设备，用以解决现有技术中通过手动方式测试大数据系统性能存在的测试效率低的问题。

第一方面，本发明实施例中提供了一种大数据系统性能测试方法，包括：获取用户指定的用于基于测试基准针对大数据系统进行系统性能测试的测试参数；根据所述测试参数和所述测试基准对应的测试指令生成规则，生成测试指令序列；根据所述测试指令序列中的指令顺序，针对所述大数据系统执行各个测试指令；根据测试结果，确定所述大数据系统的系统性能数据。

其中，所述测试基准包括但不限于：TPC-H、TPC-C、BenchmarkSql或TPC-DS。所述大数据系统可以是分布式的大数据查询引擎集群，例如，GreenPlum，Implala，Trafodion，Hawq等大数据查询引擎集群。所述测试参数包括以下参数的至少一项：结构化查询语言SQL方言，数据源参数，数据库名称、用户名和密码，数据规模，所述测试参数还可以包括测试任务标识等。所述测试指令包括但不限于：数据准备指令、数据库创建指令、数据表创建指令、数据导入指令和性能测试指令。。

结合第一方面，本发明在第一方面的第一种实现方式中，所述测试参数包括结构化查询语言SQL方言；所述根据所述测试参数和所述测试基准对应的测试指令生成规则，生成测试指令序列，包括：获取与所述SQL方言对应的所述测试指令生成规则；根据所述测试参数和所述与所述SQL方言对应的所述测试指令生成规则，生成所述测试指令序列。

结合第一方面或第一方面的第一种实现方式，本发明在第一方面的第二种实现方式中，在所述根据所述测试参数和所述特定测试基准对应的测试指令生成规则，并生成测试指令序列之前，所述方法还包括：根据预设的测试基准与测试指令生成规则之间的对应关系集，获取所述测试基准对应的测试指令生成规则。

结合第一方面、第一方面的第一种实现方式或第一方面的第二种实现方式，本发明在第一方面的第三种实现方式中，所述获取用户指定的用于基于测试基准针对大数据系统进行系统性能测试的测试参数，采用如下方式之一：通过图形用户界面，获取所述测试参数；或者从配置文件中读取所述测试参数。