[发明专利]一种大数据流处理框架的性能基准测试系统及方法

摘要

本发明涉及一种大数据流处理框架的性能基准测试系统及方法，系统由流式负载生成器、流式场景与应用构造器、性能数据采集工具和性能数据分析工具四个部分组成。本发明通过选取符合流式处理模式计算特征的应用，生成符合流式处理模式数据特征的负载，测试大数据流处理框架在典型场景与应用下的性能表现，采集运行时的反压、吞吐量、延迟、系统资源、节点数据等性能指标，最后通过分析和统计采集数据来诊断流处理框架的瓶颈所在。

主权项

1.一种大数据流处理框架的性能基准测试系统，其特征在于，包括：流式负载生成器、流式场景与应用构造器、性能数据采集工具和性能数据分析工具；所述流式负载生成器，产生包含数据参数的流数据；所述流式场景与应用构造器，构建特定场景与应用，运行所述应用进行不同参数下所述框架在所述场景与应用中处理所述流数据的性能测试；所述性能数据采集工具，采集所述性能测试过程中的性能指标；所述性能数据分析工具，对所述性能收集工具采集的所述性能指标进行处理分析，以反映所述参数变化对所述性能指标的影响，并诊断所述框架进行流数据处理的瓶颈。