[发明专利]基于适合度轨迹的神经网络强化学习方法及系统

权利要求书

1.一种基于适合度轨迹的神经网络强化学习方法，其特征在于，所述神经网络强化学习方法包括：

初始化神经网络权值，强化学习参数及适合度轨迹；

检测获取当前环境状态和立即回报值；

计算强化学习的Q值函数；

基于所述Q值函数，获取所述适合度轨迹和更新所述神经网络权值；

检测新的环境状态和立即回报值；

所述新的环境状态和立即回报值满足结束条件，强化学习结束，不满足结束条件，返回重新检测获取所述当前环境状态和立即回报值。

2.根据权利要求1所述的基于适合度轨迹的神经网络强化学习方法，其中，所述计算强化学习的Q值函数包括：

基于贪心策略，选择动作a_t施加到所述当前环境状态中；

基于隐含层的高斯核函数，计算强化学习的Q值函数。

3.根据权利要求2所述的基于适合度轨迹的神经网络强化学习方法，其中，所述Q值函数为：

式中，wo＝[w₁,w₂...w₂₅]^T，为隐含层与输出层之间的权值矩阵；

为一个输出结点的激活函数；

s为当前状态；

x为输入信号；c为中心向量；

σ为宽度参数；b为偏差值；k为隐层神经元数目；j为输入信号的维度。

4.根据权利要求3所述的基于适合度轨迹的神经网络强化学习方法，其中，获取所述适合度轨迹和更新所述神经网络权值包括：

基于所述Q值函数，计算所述适合度轨迹和误差信息；

基于所述适合度轨迹和误差信息，按照梯度下降法，依次计算第二层和第一层神经网络权值的误差，获取更新的所述神经网络权值。

5.根据权利要求4所述的基于适合度轨迹的神经网络强化学习方法，其中，所述适合度轨迹通过迭代计算获取：

e(t)＝γλe(t-1)+a_t

式中，γ为折扣因子；

λ为衰减因子。

6.根据权利要求5所述的基于适合度轨迹的神经网络强化学习方法，其中，所述误差信息为：

ε_TD(t)＝r_t+γQ(s_t+1,a_t+1)-Q(s_t,a_t)

式中，r_t为环境反馈给智能体的评价值。

7.根据权利要求6所述的基于适合度轨迹的神经网络强化学习方法，其中，所述更新的所述神经网络权值为：

Δw(t)＝ηε_TD(t)e(t)＝η[r_t+γQ(s_t+1,a_t+1)-Q(s_t,a_t)]e(t)

式中，η为网络权值的学习率。

8.根据权利要求7所述的基于适合度轨迹的神经网络强化学习方法，其中，到时间步k，由神经元节点i链接到神经元节点j的权值修正值为：

式中，α为学习速率；

θ为一个输出结点的激活函数；

v为其中i为输入层节点索引；

w为权值向量；

x为输入向量。

9.根据权利要求8所述的基于适合度轨迹的神经网络强化学习方法，其中，在时间步t，引入所述适合度轨迹后神经元节点t连接到神经元节点j的权值修正为：

10.一种基于适合度轨迹的神经网络强化学习系统，其特征在于，所述神经网络强化学习系统包括：

存储器，存储有计算机可执行指令；

处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：

初始化神经网络权值，强化学习参数及适合度轨迹；

检测获取当前环境状态和立即回报值；

计算强化学习的Q值函数；

基于所述Q值函数，获取所述适合度轨迹和更新所述神经网络权值；

检测新的环境状态和立即回报值；

所述新的环境状态和立即回报值满足结束条件，强化学习结束，不满足结束条件，返回重新检测获取所述当前环境状态和立即回报值。