[发明专利]基于深度强化学习无模型自适应混水温度控制系统及方法

权利要求书

1.基于深度强化学习无模型自适应混水温度控制方法，其特征在于：具体方法步骤如下：

步骤一，自定义混水系统的状态空间和动作空间，建立动作网络和价值网络；

步骤二，根据与混水环境交互产生的数据训练动作网络和价值网络，获得混水调温DDPG模型；

步骤三，在混水设备部署该DDPG模型，并与云服务器实时通信，异步更新设备模型参数，实现自适应学习新混水环境；

所述步骤一中，所述的动作网络包括：动作网络、目标动作网络；所述的价值网络包括判断价值网络、目标价值网络混水系统的状态空间和动作空间，所述混水系统的动作空间为调整拨片的转动速度A∈[V_max，V_min]，其中V_max为调温最大转速，V_min＝-V_max；

状态空间S具体为:其中分别表示：混水前冷水端温度、混水前冷水端压强、混水前冷水端水流量、混水前热水端温度、混水前热水端压强、混水前热水端水流量、当前混水后温度，目标温度；

定义回报函数：

其中T_t+1为下一时刻混水后测量温度，为用户设定温度；

所述步骤二中，根据与混水系统环境交互产生的数据[s_t，a_t，r_t，s_t+1]训练动作网络和价值网络，采用软更新算法更新目标动作网络和目标价值网络，从而获得DDPG模型，其中s_t为t时刻的混水系统环境状态，a_t为在t时刻，混水系统环境状态为s_t时采用的调整拨片的转动速度，r_t为状态为s_t时采用的调整拨片的转动速度a_t使状态变为s_t+1时收到的立即奖励，s_t+1为t+1时刻的混水环境状态；

所述步骤二中，根据与混水系统环境交互产生的数据[s_t，a_t，r_t，s_t-1]训练动作网络和价值网络包括:

基于与混水系统环境交互产生的数据[s_t，a_t，r_t，s_t+1]，根据评价损失函数更新价值网络；

基于与混水系统环境交互产生的数据[s_t，a_t，r_t，s_t+1]，根据策略梯度更新动作网络；

训练过程具体包括采用记忆库学习模式，定义记忆库大小：M，单步训练批数量：M_step，

首先，初始化各种数据信息；

其次，执行决策部分，获取当前状态s_t，输入动作网络，其输出为决策信息，即在当前冷热水步进电机转速V_t；

再次，运行环境，执行动作，并利用回报函数计算利润r_t，得到下一状态_t+1，将[s_t，a_t，r_t，s_t+1]作为回合记忆存入记忆库，当记忆库存满时，对记忆库进行随机抽样，取M_step条回合记忆，并对每条回合记忆进行学习；最后，判断迭代次数是否满足要求，若不满足，则重复上述过程；

通过软更新算法更新目标动作网络和目标价值网络的计算公式为:

θ^Q′＝τθ^Q+(1-τ)θ^Q′

θ^μ′＝τθ^μ+(1-τ)θ^μ′

其中τ＝0.001，θ^Q′代表目标价值网参数，θ^Q代表价值网络参数，θ^μ′代表目标动作网络参数，θ^μ代表动作网络参数。