[发明专利]一种基于强化学习的分布式消息系统参数自适应优化方法

权利要求书

1.一种分布式消息系统参数自适应优化方法，其特征在于：包括如下步骤：

步骤1：根据消息中间件的官方配置文档获取消息中间件中影响性能的n个参数；

步骤2：生成训练样本数据集Ts；

步骤3：使用一位有效编码对训练样本数据集Ts进行预处理，处理的结果使得离散型和连续型参数的取值类型统一转换为数值型，形成标准训练样本数据集St；

步骤4：对标准训练样本数据集St进行降维；

步骤5：利用Lasso回归算法对标准训练样本数据集St进行迭代计算，获得n个参数的权重集合Ws，然后根据权重集合Ws对n个参数进行进一步筛选出一个关键参数集合Kp；

步骤6：根据筛选得到的关键参数集合Kp及其权重建立初步的性能预测模型；根据消息中间件的官方配置文档获取关键参数集合Kp中参数之间具有相关性的参数集合Cp，在参数集合Cp中比较具有相关性的参数之间的权重大小，删除权重值小的参数，建立最终的性能预测模型，其最终关键参数集合为Kx；

步骤7：利用最终的性能预测模型中的最终关键参数集合Kx构建一个基于策略梯度的强化学习方法的DDPG参数优化模型；

步骤8：对步骤7的参数优化模型进行迭代训练并输出调优结果，该结果给出了当前环境下的优化参数配置；

所述的步骤8具体包括如下步骤：

步骤8.1)将最终关键参数集合Kx内的关键参数以默认值在AIoT网络环境中的分布式消息系统中配置运行，获得分布式消息系统当前的吞吐量，将其设为状态序列的初始状态S₀并得到它的特征向量φ(S₀)；

步骤8.2)当t＜F时，t表示当前迭代次数，F表示最大迭代次数，在Actor网络中，输入当前状态S_t，S_t表示第t步的状态，得到基于当前状态S_t的动作A_t＝π_θ(φ(S_t))+N，N表示初始化随机噪音函数，π_θ(φ(S_t))表示根据当前状态S_t对其特征向量φ(S_t)采取的策略；

步骤8.3)执行动作A_t，即根据A_t改变当前参数配置，得到新的状态S_t+1，根据新的状态S_t+1和前一步状态S_t得到执行动作A_t而获得的当前奖励R_t，观察新的状态S_t+1，得到其特征向量φ(S_t+1)；

步骤8.4)将四元组{φ(S_t)，A_t，R_t，φ(S_t+1)}存入到经验回放池表D；

步骤8.5)根据奖励判断当前状态，如果奖励为1，则将当前状态更新为S_t+1，t更新为t+1，否则当前状态不变；

步骤8.6)从经验回放池表D中随机采集批量梯度下降的样本数m个，分别为{φ(S_j)，A_j，R_j，φ(S_j+1)}，j∈m，φ(S_j)表示m个随机采集批量梯度下降的样本中第j个批量梯度下降的样本的特征向量，A_j表示其采取的动作，R_j表示执行动作A_j获得的奖励，φ(S_j+1)表示执行动作A_j后下一步的状态的特征向量；设置当前的Critic目标网络值为y_j＝R_j+γQ′(φ(S_j+1)，π_θ′(φ(S_j+1))|ω′)，γ表示衰退因子，Q′(φ(S_j+1))表示Critic目标网络，ω′表示Critic目标网络的参数，π_θ′(φ(S_j+1))表示Critic目标网络对φ(S_j+1)执行的策略；

步骤8.7)使用神经网络的梯度下降方法的反向传播最小化参数ω的均方差的损失函数以此更新Critic网络的参数ω；

步骤8.8)通过梯度上升方法最大化参数θ的目标函数的梯度μ(S_j)表示当前策略(Actor)网络函数对S_j执行的策略，以此更新Actor网络的参数θ；

步骤8.9)当t％C＝1时，C表示Critic目标网络迭代频率，此处％是取余计算，更新Critic目标网络的参数ω′和Actor目标网络的参数θ′：ω′←τω+(1-τ)ω′，θ′←τθ+(1-τ)θ′，τ表示软更新系数；

步骤8.10)如果达到最大迭代次数F，则迭代停止；否则转到步骤8.2)；

步骤8.11)迭代完毕后，输出最终动作A_F中参数的配置数据，该数据是当前环境下的优化参数配置。