[发明专利]Storm平台参数配置方法和装置

说明书

本公开的实施例公开了Storm平台参数配置方法和装置。该方法的一具体实施方式包括：响应于用户选择自动调参模式，获取Storm平台的已设置参数值中的数据生成速度值和数据分区值；获取与数据生成速度值和数据分区值匹配的预设数量的调整用参数值；对于预设数量的调整用参数值中的每个调整用参数值，执行如下获取步骤：使用调整用参数值对已设置参数值进行调整，以及获取Storm平台在调整后的已设置参数值下运行预设时长所生成的运行状态参数值；从所获取的预设数量的运行状态参数值中选取满足预设选取条件的运行状态参数值，以及使用选取的运行状态参数值所指示的调整后的已设置参数值对Storm平台进行配置。该实施方式实现了对Storm平台的自动化配置。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及Storm平台参数配置方法和装置。

背景技术

随着大数据技术的蓬勃发展，在越来越多的场景中，需要对线上产生的大量的数据进行实时地处理。Storm平台作为一款分布式实时计算系统，被广泛用于大数据的处理。

使用Storm平台之前，需要对其进行配置。配置的过程中，往往需要对各种参数值进行不断的调整，直至Storm平台稳定运行。目前，主要依靠技术人员的经验对参数值进行调整，实现Storm平台的配置。由此，技术人员通常需要花费较长的时间完成Storm平台的配置，对于经验尚浅的技术人员来说，花费的时间则会更长。

发明内容

本公开的实施例提出了Storm平台参数配置方法和装置。

第一方面，本公开的实施例提供了一种Storm平台参数配置方法，该方法包括：响应于用户选择自动调参模式，获取Storm平台的已设置参数值中的数据生成速度值和数据分区值；获取与数据生成速度值和数据分区值匹配的预设数量的调整用参数值；对于预设数量的调整用参数值中的每个调整用参数值，执行如下获取步骤：使用调整用参数值对已设置参数值进行调整，以及获取Storm平台在调整后的已设置参数值下运行预设时长所生成的运行状态参数值，其中，运行状态参数值包括负载均衡度和错误消息数；从所获取的预设数量的运行状态参数值中选取满足预设选取条件的运行状态参数值，以及使用选取的运行状态参数值所指示的调整后的已设置参数值对Storm平台进行配置，其中，所述预设选取条件包括：负载均衡度处于预设范围内，错误消息数为零。

在一些实施例中，上述获取与数据生成速度值和数据分区值匹配的预设数量的调整用参数值，包括：将数据生成速度值和数据分区值作为分量，生成待匹配向量；从第一历史参数值向量库中，获取与待匹配向量相似度最高的预设数量的第一历史参数值向量，其中，第一历史参数值向量所指示的历史参数值中包括调整用参数值所指示的参数的已配置参数值；从预设数量的第一历史参数值向量所指示的预设数量的历史参数值中，获取预设数量的调整用参数值所指示的参数的已配置参数值。

在一些实施例中，在上述获取数据生成速度值和数据分区值之前，上述方法还包括：响应于用户选择手动调参模式，接收用户输入的待调整参数值；确定与待调整参数值匹配的运行状态参数值作为第一运行状态参数值；响应于第一运行状态参数值未满足预设配置条件，发送提示信息。

在一些实施例中，上述确定与待调整参数值匹配的运行状态参数值作为第一运行状态参数值，包括：基于K近邻(K-Nearest Neighbor，KNN，K为正整数)算法，执行以下预测步骤：获取第二历史参数值向量库中与待调整参数值最邻近的K个第二历史参数值向量，其中，第二历史参数值向量所指示的历史参数值中包括调整用参数值所指示的参数的已配置参数值和对应的运行状态参数值；根据K个第二历史参数值向量所指示的K个历史参数值，预测与待调整参数值匹配的运行状态参数；将预测得到的运行状态参数值作为第一运行状态参数值。