[发明专利]测试数据处理系统的方法和装置

说明书

本申请提供了一种测试数据处理系统的方法和装置，属于大数据处理领域。所述方法包括：在对待测试数据处理系统进行测试时，可以确定待测试数据处理系统中的目标应用程序，然后获取目标应用程序的异常规则，基于该异常规则，生成至少一组分布异常数据，然后对于每组分布异常数据，根据目标应用程序对应的多个预设配置参数中各配置参数的取值范围，控制目标应用程序对分布异常数据进行处理，得到待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的各预设配置参数的目标取值，然后基于分布异常数据的分布和各预设配置参数的目标取值，生成测试报告。采用本申请，提供了一种测试数据处理系统的方法。

技术领域

本申请涉及大数据处理领域，特别涉及一种测试数据处理系统的方法和装置。

背景技术

近年来，随着互联网、电子商务以及物联网等技术的快速发展，数据的产生速度呈现爆炸性的增长方式的趋势。这些数据具有产生速度快、产生规模大等特点，为了挖掘这些海量数据背后隐藏的巨大商业价值，许多数据处理系统应用而生，例如，Hadoop、Spark、Storm、Flink等，这些数据处理系统分别偏重于不同的处理场景。数据处理系统在处理数据时，经常会出现内存溢出、I/O异常、任务无响应等错误，这些错误会直接导致数据处理系统的任务执行失败。

相关技术中，一般是数据处理系统上线后，数据处理系统出现问题，才会对数据处理系统进行分析诊断。

这样，由于只能在数据处理系统上线之后，发生问题才会解决问题，然而发生问题后再解决问题，会导致任务处理严重延迟，所以急需提供一种提前测试数据处理系统的方法。

发明内容

为了解决相关技术的问题，本发明实施例提供了一种测试数据处理系统的方法和装置。所述技术方案如下：

第一方面，提供了一种测试数据处理系统的方法，所述方法包括：

确定待测试数据处理系统中的目标应用程序；根据所述目标应用程序的异常原则，生成所述目标应用程序对应的至少一组分布异常数据；对于每组分布异常数据，根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值；根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告。

本发明实施例所示的方案，在对待测试数据处理系统进行测试时，可以确定待测试数据处理系统中的目标应用程序，然后获取目标应用程序的异常规则，基于该异常规则，生成至少一组分布异常数据，然后对于每组分布异常数据，根据目标应用程序对应的多个预设配置参数中各配置参数的取值范围，控制目标应用程序对分布异常数据进行处理，得到待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的各预设配置参数的目标取值，然后基于分布异常数据的分布和各预设配置参数的目标取值，生成测试报告。后续技术人员可以基于测试报告，对该数据处理系统进行修复，使其在运行分布异常数据时，也可以正常运行。

在一种可能的实施方式中，所述目标应用程序为SQL应用程序、MLib应用程序和Graph应用程序中的一个或多个。

在一种可能的实施方式中，所述多个预设配置参数之间相互独立；