[发明专利]基于CMAC网络的群控电梯调度方法

摘要

本发明公开了一种基于CMAC网络的群控电梯调度方法，其步骤为：(1)确定静态参数、动态参数、乘客到达模型、CMAC网络参数和强化学习参数，然后触发电梯群控系统；(2)观察电梯状态计算得出Q(x，run)和Q(x，stop)；(3)选择电梯动作；(4)令电梯i的下一个决策点发生在ty时刻，其相应的状态为y，更新所有电梯的获得R[i]值；(5)调节电梯I的Q(s，a)的估值；(6)根据式：更新CMAC网络权值；(7)将x←y，t_x←t_y..转至步骤1，从而实现群控电梯调度。本方法的显著优点是能有效地减少乘客平均等待时间，提高电梯调度的性能。

主权项

1、一种基于CMAC网络的群控电梯调度方法，其特征在于，该方法包括以下步骤：(1)确定静态参数、动态参数、乘客到达模型、CMAC网络参数和强化学习参数，然后触发电梯群控系统，其中，静态参数为电梯数目和楼层数目，动态参数为层间运行时间、电梯停止/转向时间和乘客进出电梯时间，乘客到达模型参数为乘客到达时间分布，CMAC网络参数为输入节点、输出节点和泛化参数，强化学习参数为指数衰减速率β和学习率α；(2)设在tx时刻电梯i到达一个决策点，观察得到状态为x，根据CMAC网络计算得出Q(x，run)和Q(x，stop)，其中，Q(x，run)为在x状态下电梯继续运行的Q值函数，Q(x，stop)为电梯停靠的Q值函数；(3)根据以下公式选择动作a：$\mathrm{Pr}\left(\mathrm{stop}\right)=\frac{e^{Q(x,\mathrm{run})/T}}{e^{Q(x,\mathrm{stop})/T}+e^{Q(x,\mathrm{run})/T}}$ 其中，T为温度参数且T＞0；(4)令电梯i的下一个决策点发生在ty时刻，其相应的状态为y，根据式$\mathrm{\Delta R}\left[i\right]=e^{-\beta (t_0-d[i\left]\right)}\underset{b}{\Sigma }\{\frac{{2\lambda }_b(1-e^{-\beta (t_1-t_0)})}{{\beta }^4}+(\frac{2}{{\beta }^3}+\frac{{2w}_0\left(b\right)}{{\beta }^2}+\frac{w_0^2\left(b\right)}{\beta })$ $-e^{-\beta (t_1-t_0)}(\frac{2}{{\beta }^3}+\frac{{2w}_1\left(b\right)}{{\beta }^2}+\frac{w_1^2\left(b\right)}{\beta })+{\lambda }_b[(\frac{{2w}_0\left(b\right)}{{\beta }^3}+\frac{w_0^2\left(b\right)}{{\beta }^2}+\frac{w_0^3\left(b\right)}{3\beta })-$ $e^{-\beta (t_1-t_0)}(\frac{{2w}_1\left(b\right)}{{\beta }^3}+\frac{w_1^2\left(b\right)}{{\beta }^2}+\frac{w_1^3\left(b\right)}{3\beta })\left]\right\},$ 更新所有电梯的获得R[i]值，其中，R[i]为第i部电梯从其上一次决策时间点d[i]时开始累计的总折扣强化值，t0为上一事件发生的时间，t1为当前事件发生的时间，对于每个在t0和t1之间有效的电梯呼叫键b而言，令w0(b)和w1(b)分别为t0和t1时刻按钮b按下后逝去的时间，式中β为指数衰减速率，λ为顾客的泊松到达率；(5)电梯i根据式：$Q(x,a)\leftarrow R\left[i\right]+e^{-\beta (t_y-t_x)}\underset{a^{\prime }\in \{\mathrm{stop},\mathrm{cont}\}}{\min }{Q}_{\mathrm{cmac}}(y,a^{\prime })$ 调节其Q(s，a)的估值；(6)根据式：$\mathrm{\Delta W}=\alpha \left[R\right[i]+e^{-\beta (t_y-t_x)}\underset{a^{\prime }\in \{\mathrm{stop},\mathrm{cont}\}}{\min }{Q}_{\mathrm{cmac}}(y,a^{\prime },W)$ $-Q_{\mathrm{cmac}}(x,a,W){▿}_W{Q}_{\mathrm{cmac}}(x,a,W)$ 更新CMAC网络权值；(7)将x←y，tx←ty。转至步骤1，从而实现群控电梯调度。