[发明专利]一种大数据平台的检测方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种大数据平台的检测方法及装置。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课题。

随着大数据技术的广泛应用，搭建大数据平台、使用大数据计算也不再是高端神秘的技术领域，很多传统的软件开发者也开始接触大数据的概念。随着大数据技术的应用越来越广泛，对大数据平台的性能要求也越来越高。现有技术中还没有针对大数据平台的性能检测的方法。

发明内容

有鉴于此，本发明提供了一种大数据平台的检测方法及装置，能够对大数据平台进行检测。

一方面，本发明提供了一种大数据平台的检测方法，包括：预先设置用于验证待测大数据平台的每种功能是否正常的功能测试执行容器，预先设置用于验证待测大数据平台的组件的运行性能的性能测试执行容器，还包括：

S1：调用用于测试所述待测大数据平台的测试用例；

S2：获取所述测试用例中的任务类型；

S3：如果所述任务类型为功能验证类，则调用所述功能测试执行容器执行所述测试用例，根据所述测试用例对待测大数据平台的待测功能进行检测；如果所述任务类型为性能验证类，则调用所述性能测试执行容器执行所述测试用例，根据所述测试用例对待测大数据平台的待测组件的性能进行检测。

进一步地，所述S3中，所述调用所述功能测试执行容器执行所述测试用例，根据所述测试用例对待测大数据平台的待测功能进行检测，包括：

通过所述功能测试执行容器从所述测试用例中获取运行所述待测功能所需要的参数、数据处理次数、所述待测功能运行成功的标准、第一待处理数据；

通过所述功能测试执行容器根据所述运行所述待测功能所需要的参数运行所述待测功能；

通过所述功能功能测试执行容器将所述待处理数据通过所述待测功能进行所述数据处理次数次处理；

通过所述功能测试执行容器根据所述待测功能运行成功的标准，判断所述待测功能是否正常。

进一步地，所述S3中，所述调用所述性能测试执行容器执行所述测试用例，根据所述测试用例对待测大数据平台的待测组件的性能进行检测，包括：

通过所述性能测试执行容器从所述测试用例中获取压力环境参数、第二待处理数据；

通过所述性能测试执行容器根据所述压力环境参数在所述待测大数据平台上构建对应的压力环境；

通过所述性能测试执行容器调用所述待测组件在所述压力环境下处理所述第二待处理数据，记录所述待测组件的性能参数。

进一步地，所述S1，包括：通过restful应用程序编程接口api调用所述测试用例。

进一步地，所述S1，包括：通过执行shell命令调用所述测试用例。

进一步地，该方法还包括：预先设置多个测试用例模板；

在所述S1之前，还包括：

确定外部选择的测试用例模板；

接收外部输入的被选择的所述测试用例模板对应的待填充参数；

根据所述待填充参数填充和所述被选择的所述测试用例模板，生成所述测试用例。

另一方面，本发明提供的一种大数据平台的检测装置，包括：

第一设置单元，用于设置用于验证待测大数据平台的功能是否正常的功能测试执行容器，设置用于验证待测大数据平台的组件的运行性能的性能测试执行容器；

调用单元，用于调用用于测试所述待测大数据平台的测试用例；

获取单元，用于获取所述测试用例中的任务类型；