[发明专利]基于适合度轨迹的神经网络强化学习方法及系统

说明书

本发明公开了一种基于适合度轨迹的神经网络强化学习方法及系统。该神经网络强化学习方法包括：初始化神经网络权值，强化学习参数及适合度轨迹；获取当前环境状态和立即回报值；计算强化学习的Q值函数；获取适合度轨迹和更新神经网络权值；检测新的环境状态和立即回报值；新的环境状态和立即回报值满足结束条件，强化学习结束，不满足结束条件，返回重新检测获取当前环境状态和立即回报值。其优点在于：解决了强化学习面对连续状态空间的函数逼近问题，同时引进的适合度轨迹，对经历过的状态动作正确的访问路径的有效保存，提高神经网络的泛化性能，最后加快算法的收敛速度。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种基于适合度轨迹的神经网络强化学习方法及系统。

背景技术

强化学习在人工智能领域包括工业生产、电梯调度、路径规划方面越多的得到运用，可以用来解决随机性或不确定性动态系统最优化这些决策类问题，随着强化学习的发展及各方面应用的扩展，需要的结合的技术和算法也越来越多，此时经典的查表法就不能满足需求。因为传统的强化学习算法需要把state-action对应的值函数保存在表中，以进行查询，但是计算机的存储有限，在面对连续状态空间的问题值表法就无法存放这种大规模数量的值函数。

面对上述难题，较常用的方式是将连续空间分散成单个可分的状态集，使其能够有限的分散成有限的状态，然后使用经典的强化学习算法，但是这样会引起很多问题，例如离散化后的状态可能不再具有马尔科夫性质，引入无法直接观测到的隐含状态，同时可能导致强化学习不再具有马尔科夫性，这时候函数策略无法收敛，强化学习的学习能力变差。

同时神经网络逼近函数值的快慢以及是否是全局极值都是要解决的问题，现有的一些算法容易让强化学习陷入局部极值，无法得到最优决策，导致学习失败。

因此，有必要开发一种能够在无标记、无导师的情况下，有效率的得到最优决策序列的基于适合度轨迹的神经网络强化学习方法及系统。

公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明提出了一种基于适合度轨迹的神经网络强化学习方法及系统，其能够通过径向基函数神经网络解决了强化学习面对连续状态空间的函数逼近问题，有效率的得到最优决策序列，实现算法目标。

根据本发明的一方面，提出了一种基于适合度轨迹的神经网络强化学习方法，所述神经网络强化学习方法包括：

初始化神经网络权值，强化学习参数及适合度轨迹；

检测获取当前环境状态和立即回报值；

计算强化学习的Q值函数；

基于所述Q值函数，获取所述适合度轨迹和更新所述神经网络权值；

检测新的环境状态和立即回报值；

所述新的环境状态和立即回报值满足结束条件，强化学习结束，不满足结束条件，返回重新检测获取所述当前环境状态和立即回报值。

优选地，所述计算强化学习的Q值函数包括：

基于贪心策略，选择动作a_t施加到所述当前环境状态中；

基于隐含层的高斯核函数，计算强化学习的Q值函数。

优选地，所述Q值函数为：

式中，wo＝[w₁,w₂...w₂₅]^T，为隐含层与输出层之间的权值矩阵；

为一个输出结点的激活函数；