[发明专利]一种基于强化学习的分布式消息系统参数自适应优化方法

说明书

本发明提供一种基于强化学习的分布式消息系统参数自适应优化方法，属于分布式计算体系与架构技术领域；本发明所针对的场景是当下AIoT网络环境中的消息传递场景，该场景的特点是大量的终端之间会进行海量的消息互传，且每个终端传输的消息的容量和传输的频次多变。本发明所针对的参数是一些影响分布式消息系统性能的关键参数，而这些参数通常直接采用默认参数配置可能导致在该场景下达不到最优的集群吞吐量性能。因此在有限的硬件环境下，采用一种基于策略梯度的强化学习的的强化学习方法进行参数的自适应优化，从而使得优化后的分布式消息中间件能适应AIoT网络环境中不同的消息传递的场景，提升分布式消息系统的性能。

技术领域

本发明属于分布式计算体系与架构技术领域，具体涉及一种基于强化学习的分布式消息系统参数自适应优化方法。

背景技术

随着5G的商业化应用和人能智能技术的发展，传统物联网(IoT)已经无法满足传统企业对业务扩展的需求，而AI技术和边缘环境的发展，使得两种技术结合并应用于智能物联网(AIoT)的应用场景越来越常见。

随着AIoT的应用领域逐渐的推广，例如无人机、无人驾驶、智能终端协作和智慧城市等领域，这些应用场景有个共同的特点，就是大量的终端之间会进行海量的消息互传，且每个终端传输的消息的容量和传输的频次多变。

其次，由于这些终端之间通常是一种分散的计算架构，其缺乏一种较好的集中管理消息传递的机制。

AIoT所处的网络环境中通常需要依赖一种处理机制以提供一种延迟较小的实时数据传递能力，尤其是当有大量的实时消息产生，分布式消息中间件可以减轻消息传输过程中存在的消息丢失和网络拥塞问题。

西安电子科技大学申请的专利“分布式消息中间件性能预测与建模方法”(申请号：CN201710553030.9申请日期：2017.07.07公开号：CN107360026A公开日：2017-11-17)公开了一种分布式消息中间件性能预测与建模方法，解决现有中间件预测没有考虑特征取值、无法基于特征对中间件性能有效预测的问题，该方法通过特征筛选、正交实验设计、中间件性能测试、实验结果预处理、训练预测模型、预测模型验证得到了准确的分布式消息中间件的性能预测模型，并实现了准确预测，可用于分布式消息中间件的吞吐量性能预测领域。该方法的不足是正交试验过程太过复杂，且未能提出一种分布式中间件的特征(参数)自适应优化的方法提升分布式消息中间件的性能。

而传统的消息中间件中存在数十个可调的参数，因此如何根据当前的网络环境状态，如终端个数的变化、消息大小和消息发送频次等自适应的优化消息中间件的参数的能力成为了一个新的热点，本专利主要就着重解决AIoT应用场景中的分布式消息系统性能优化问题。

发明内容

发明目的：在于克服上述背景技术的不足，提供一种基于强化学习的分布式消息系统参数自适应优化方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于强化学习的分布式消息系统参数自适应优化方法，包括如下步骤：

步骤1：根据消息中间件的官方配置文档获取消息中间件中对性能影响定义为高的n个参数；

步骤2：生成训练样本数据集Ts；

步骤3：使用一位有效编码(One-hot encoding)对训练样本数据集Ts进行预处理，处理的结果使得离散型和连续型参数的取值类型统一转换为数值型，形成标准训练样本数据集St；

步骤4：对标准训练样本数据集St进行降维；如利用主成分分析方法中的特征值分解协方差法或者奇异值分解协方差法；

步骤5：利用Lasso回归算法对标准训练样本数据集St进行迭代计算，获得n个参数的权重集合Ws，然后根据权重集合Ws对n个参数进行进一步筛选出一个初始关键参数集合Kp；