[发明专利]基于强化学习的采煤机机身范围内支架动作序列决策方法

权利要求书

1.一种基于强化学习的采煤机机身范围内支架动作序列决策方法，其特征在于，包括：

设定采煤机机身范围内地质条件，包括煤壁稳定性、顶板压力和顶煤破碎程度；

设定采煤机机身范围内支架动作序列；

基于状态变量，以及所述采煤机机身范围内地质条件和采煤机机身范围内支架动作序列，建立马尔科夫模型的状态空间、动作空间和回报值函数；

根据所述马尔科夫模型，建立支架动作决策的强化学习模型；

根据所述强化学习模型，获取支架最优动作序列。

2.根据权利要求1所述的基于强化学习的采煤机机身范围内支架动作序列决策方法，其特征在于，所述强化学习模型包括：

动作值函数Q(s,a)：表示工作面地质状态为s时，执行动作序列a之后，从当前时刻起，直到一刀煤截割完毕，所有的回报函数值的叠加；

支架决策策略π(s,a)：表示工作面地质状态为s时，选取动作序列a的概率；支架决策策略是需要学习的对象，学习的目标是使策略π(s,a)达到最优π^*(s,a)；

所述强化学习模型的强化学习过程包括：

(1)初始化支架动作值函数Q(s,a)＝0；

(2)初始化支架动作策略：π(s,a)＝0.25，表示四种动作序列的选取概率为相同的，均为0.25；

(3)人工识别工作面地质条件状态s，并输入；

(4)执行一步ε贪婪算法，并根据策略π(s,a)选取策略；

(5)支架执行步骤(4)中得到的动作序列a，人工识别煤壁稳定性，并得到回报值R(a)；

(6)按照以下Q-learning方法对支架的动作值函数学习：

该式是对Q(s,a)的更新，其中，←右侧的Q(s,a)是执行步骤(5)动作前的值；s′表示执行完动作序列a后，进入的下一个状态；a′表示在状态s′条件下最大Q值对应的动作序列；表示在状态s′下，使得动作值函数最大的那个值；0＜γ＜1表示折扣因子；0＜α＜1表示学习率；

(7)策略更新：根据学习到的Q(s,a)值，对策略π(s,a)进行更新，如下式所示：

(8)重复步骤(3)-(7)，直到下式成立，表明策略收敛：

式中，π₁(s,a)表示前一轮策略，π₂(s,a)表示更新过后的策略，0＜δ＜1，||π₁(s,a)-π₂(s,a)||表示π₁(s,a)与π₂(s,a)的欧式距离。

3.根据权利要求2所述的基于强化学习的采煤机机身范围内支架动作序列决策方法，其特征在于，ε贪婪算法包括：

1)设定一个贪婪阈值ε，0＜ε＜1；

2)产生一个0至1的随机数p；

当p＞ε时，以π(s,a)的概率选取动作序列a；p≤ε时，选择4个动作序列的概率值为0.25，并以此选取动作序列。