[发明专利]一种最优点个数约束的数据流处理系统多目标优化方法

说明书

一种最优点个数约束的数据流处理系统多目标优化方法，属于计算机应用的实时大数据分析领域。根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，将不确定区域一分为二，继续探测面积最大的不确定区域，直到迭代上限，进而高效地得到一组具有典型代表意义的帕累托最优解，且最大化的降低了整体的不确定区域面积，为用户在响应延迟和吞吐率上提供选择空间。针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，高效地得到一组用户给定数量且具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。

技术领域

本发明涉及一种用于数据流处理系统的多目标优化方法，尤其涉及一种最优点个数约束的数据流处理系统多目标优化方法，属于计算机应用技术以及实时大数据分析领域。

背景技术

近年来涌现出大量实时性大数据分析应用，比如社交网络动态分析、智能交通数据分析、大规模数据中心监控、基因数据分析等。这类应用不但数据量大而且数据持续快速产生或更新，要求数据分析系统持续并实时的返回或更新分析结果，我们称之为实时大数据(Big&fast data)分析。此类应用对实时大数据分析系统具有迫切需求，需要系统对响应延迟、吞吐率方面给出量化保证。实时大数据分析系统的多目标优化对于提供有服务质量保障的实时大数据分析云服务、为国家关键行业及重要监控应用提供实时大数据分析平台及优化框架具有重要意义。

目前，实时大数据分析应用中用户对响应延迟以及吞吐率的要求，依赖于历史经验，由IT人员为数据流处理系统中的分析作业手工配置合适的执行计划，缺乏对实时大数据分析响应延迟和吞吐率的量化保证；即使经验丰富的IT人员也不能保证配置了较优的执行计划，从而导致分析作业运行效率低下，无法满足上层应用对实时性的要求。

已有的基于权重加和的多目标优化方法虽然解决了在一定条件约束下凸目标函数的响应延迟和吞吐率的帕累托最优问题，但不能解决凹目标函数情况的帕累托最优问题；另外基于权重加和的多目标优化方法返回给用户的解密度不等、难以解释且不具有代表性，用户实际上需要在帕累托曲线上有代表性的一组解。因此，基于权重加和的多目标优化方法不能满足IT人员交互场景下的多目标优化。实际应用中迫切需要一种在给定了帕累托最优点个数约束的情况下，选取给定数量的一组具有典型代表意义的帕累托最优解。

本方法针对实时大数据中两个重要的指标——响应延迟和吞吐率，而设计的多目标优化方法。基于给定的响应延迟和吞吐率模型，构建多目标优化方法，从而保证选取最优的执行计划。

发明内容

针对已有的基于权重加和的多目标优化方法中没有考虑用户在部署使用时在响应延迟和吞吐率上存在取舍的情况，而造成帕里托最优解随机的缺陷，提出了一种最优点个数约束的数据流处理系统多目标优化方法。

本发明要解决的技术问题是：针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，高效地得到一组用户给定数量且具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。

本发明的目的是通过下述技术方案实现的：

一种最优点个数约束的数据流处理系统多目标优化方法，根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，将不确定区域一分为二，继续探测面积最大的不确定区域，直到迭代上限，进而高效地得到一组具有典型代表意义的帕累托最优解，且最大化的降低了整体的不确定区域面积，为用户在响应延迟和吞吐率上提供选择空间。

一种最优点个数约束的数据流处理系统多目标优化方法，包括如下步骤：

步骤1：输入当前响应延迟的上界、当前响应延迟的下界以及帕累托最优点个数上限，初始化当前迭代步数、不确定区域集合以及初始化最终探测结果组；