[发明专利]一种基于flink的流计算性能优化系统及方法

权利要求书

1.一种基于flink的流计算性能优化系统，其特征在于，包括：

监控模块，用于实时监控并获取flink运行过程中不同阶段的运行参数；

数据收集模块，用于将从所述监控模块获取的运行参数输出至一数据库中；

策略调整模块，根据所述数据库中的运行参数，结合预设的启动参数，通过策略调整算法，输出下一步的运行方案；

运行管理模块，根据所述策略调整模块输出的运行方案调整运行参数，并应用到flink运行中。

2.根据权利要求1所述的一种基于flink的流计算性能优化系统，其特征在于，所述运行参数包括并行度、每个taskmanager上的slot数、每个taskmanager所分配的内存大小、CUP数量以及吞吐量。

3.根据权利要求2所述的一种基于flink的流计算性能优化系统，其特征在于，所述策略调整算法为：通过比较实际运行的吞吐量的大小，不断缩小并行度的范围，最终确定并行度的值，再根据并行度的值输出每个taskmanager上分配的内存大小，得到运行方案。

4.根据权利要求1-3任意一项所述的一种基于flink的流计算性能优化系统，其特征在于，所述系统应用在flink中，用于调整运行参数、启动和停止flink服务。

5.一种基于flink的流计算性能优化方法，其特征在于，包括以下步骤：

S1：实时获取flink运行过程中不同阶段的运行参数；

S2：将S1中获取的运行参数输出至一数据库中；

S3：根据数据库中的运行参数，结合预设的启动参数，通过策略调整算法，输出下一步的运行方案；

S4:根据S3中输出的运行方案调整运行参数大小，并应用到flink的实际运行中。

6.根据权利要求5所述的一种基于flink的流计算性能优化方法，其特征在于，S3具体包括：

S31：根据数据库的运行参数，预先设定一组并行度，通过比较不同并行度下的吞吐量，不断缩小并行度的范围，最终确定并行度的大小；

S32：根据S31中所得到的并行度，结合不同内存下的吞吐量，确定每个taskmanager所分配的内存大小。

7.根据权利要求6所述的一种基于flink的流计算性能优化方法，其特征在于，S31具体包括：

S311：根据数据库中的运行参数，预设一组并行度的上下限，分别为ps和pe，并取平均值为pm；

S312：分别将并行度设置为ps、pe和pm运行程序，得到对应并行度下的吞吐量Ts、Te和Tm；

S313：比较Ts、Te和Tm，当TsTe,则取pm和pe作为新的ps1和pe1，若TsTe,则取ps和pm作为新的ps1和pe1，重复步骤S11和S12至得到的两个并行度ps、pe之间的差小于预设阈值时，停止以上操作，取吞吐量较大的并行度为最终的并行度的大小。

8.根据权利要求6所述的一种基于flink的流计算性能优化方法，其特征在于，S32中根据S31中选定的并行度的大小，得到当每个Taskmanager所分配的内存大小分别为16GB、12GB、8GB、4GB、2GB下的吞吐量，经过比较，取吞吐量最大的内存大小。

9.根据权利要求8任意一项所述的一种基于flink的流计算性能优化方法，其特征在于，当吞吐量的比较情况出现：当相邻的两组内存大小，较大者的吞吐量不超过较小者的110％，则选取较小的内存大小。

10.根据权利要求6所述的一种基于flink的流计算性能优化方法，其特征在于，S4包括：根据S31、S32得到的并行度和内存大小调整运行参数大小，并应用到flink的实际运行中。