[发明专利]一种基于不确定度的数据流处理系统多目标优化方法

说明书

本发明公开的一种基于不确定度的数据流处理系统多目标优化方法，涉及一种用于数据流处理系统的多目标优化方法，属于计算机应用技术、实时大数据分析领域。本发明根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，通过递归的二分探测法得到一组具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。本发明适用于不同的实时大数据分析系统多目标优化场景中，应用范围广，实用性强，易于推广。此外，本发明只针对数据本身进行处理，而不受限于数据的来源，适用于对所有的工程应用中的数据的处理。

技术领域

本发明涉及一种基于不确定度的数据流处理系统多目标优化方法，尤其涉及一种用于数据流处理系统的多目标优化方法，属于计算机应用技术、实时大数据分析领域。

背景技术

近年来涌现出大量实时性大数据分析应用，比如社交网络动态分析、智能交通数据分析、大规模数据中心监控、基因数据分析等。这类应用不但数据量大而且数据持续快速产生或更新，要求数据分析系统持续并实时的返回或更新分析结果，我们称之为实时大数据（ Big & fast data）分析。此类应用对实时大数据分析系统具有迫切需求，需要系统对响应延迟、吞吐率方面给出量化保证。

目前，实时大数据分析应用中用户对响应延迟、吞吐率的要求，依赖于历史经验，由 IT 人员为数据流处理系统中的分析作业手工配置合适的执行计划，缺乏对实时大数据分析响应延迟和吞吐率的量化保证；即使经验丰富的IT人员也不能保证配置了较优的执行计划，从而导致分析作业运行效率低下，无法满足上层应用对实时性的要求。

本方法是基于实时大数据中两个重要的指标——响应延迟和吞吐率，而设计的多目标优化方法。基于给定的响应延迟和吞吐率模型，构建多目标优化模型，从理论上保证选取最优的执行计划。实时大数据分析系统的多目标优化对于提供有服务质量保障的实时大数据分析云服务、为国家关键行业及重要监控应用提供实时大数据分析平台及优化框架具有重要意义。

已有的基于权重加和的多目标优化方法虽然解决了在一定条件约束下凸目标函数的响应延迟和吞吐率的帕累托最优问题，但不能解决凹目标函数情况的帕累托最优问题；另外基于权重加和的多目标优化方法返回给用户的解密度不等、难以解释且不具有代表性，用户实际上需要在帕累托曲线上有代表性的一组解。因此，基于权重加和的多目标优化方法不能满足IT人员交互场景下的多目标优化。

发明内容

针对现有技术已有的基于权重加和的多目标优化方法中没有考虑用户在部署使用时在响应延迟和吞吐率上存在取舍的情况，而造成帕里托最优解随机的缺陷。本发明公开的一种基于不确定度的数据流处理系统多目标优化方法，要解决的技术问题是：针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，得到一组具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。

本发明的目的是通过下述技术方案实现的：

本发明公开的一种基于不确定度的数据流处理系统多目标优化方法，根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，通过递归的二分探测法得到一组具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。

本发明公开的一种基于不确定度的数据流处理系统多目标优化方法，包括如下步骤：

步骤1：输入当前响应延迟的上界，记为；输入当前响应延迟的下界，记为；输入不确定区域面积的阈值，记为。

步骤2：根据当前响应延迟的上界和下界，分别计算当前吞吐率的上界和下界。

步骤2.1：根据当前响应延迟的上界，计算当前吞吐率的上界，记为，计算公式如下：

； （1）