[发明专利]一种游戏控制方法及装置、存储介质

权利要求书

1.一种游戏控制方法，其特征在于，所述方法包括：

当检测到目标视频游戏开始时，获取当前视频帧；

基于所述当前视频帧和预设在线值网络，得到当前灰度图和当前动作，并控制所述目标视频游戏执行所述当前动作，得到当前奖赏值和下一步视频帧；

基于所述当前灰度图、所述当前动作、所述当前奖赏值、所述下一步视频帧和所述预设在线值网络，得到当前五元组并保存至预设数据库；

当得到的当前五元组的个数大于或等于预设样本个数、且预设训练总轮数大于零时，基于预设目标值网络和所述预设数据库，对所述预设在线值网络进行参数更新；

当所述得到的当前五元组的个数为预设训练总步长的整数倍时，利用所述预设在线值网络的参数对所述预设目标值网络的参数进行替换，并对所述预设训练总轮数减一；

将所述下一步视频帧作为所述当前视频帧，继续基于所述当前视频帧和预设在线值网络，得到当前灰度图和当前动作。

2.根据权利要求1所述的方法，其特征在于，所述预设在线值网络和所述预设目标值网络均为三个卷积层和两个全连接层组成的网络。

3.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频帧和预设在线值网络，得到当前灰度图和当前动作，包括：

对所述当前视频帧进行灰度化处理，得到所述当前灰度图；

将所述当前灰度图和预设待选动作中的每个待选动作，输入所述预设在线值网络，得到所述每个待选动作对应的当前评价值；

根据所述每个待选动作对应的当前评价值，从所述预设待选动作中确定当前评价值最大的最优动作；

利用∈-greedy策略，从所述预设待选动作或所述当前评价值最大的最优动作中得到所述当前动作。

4.根据权利要求1所述的方法，其特征在于，所述基于所述当前灰度图、所述当前动作、所述当前奖赏值、所述下一步视频帧和所述预设在线值网络，得到当前五元组并保存至预设数据库，包括：

对所述下一步视频帧进行灰度化处理，得到下一步灰度图；

根据所述下一步灰度图、所述预设在线值网络和∈-greedy策略，对预设待选动作进行评价和选择，得到下一步动作；

由所述当前灰度图、所述当前动作、所述当前奖赏值、所述下一步灰度图和所述下一步动作组成所述当前五元组并保存至所述预设数据库。

5.根据权利要求4所述的方法，其特征在于，所述∈-greedy策略包括探索概率和最优概率；所述根据所述下一步灰度图、所述预设在线值网络和∈-greedy策略，对预设待选动作进行评价和选择，得到下一步动作，包括：

将所述下一步灰度图和所述预设待选动作中的每个待选动作，输入所述预设在线值网络，得到所述每个待选动作对应的下一步评价值；

根据所述每个待选动作对应的下一步评价值，从所述预设待选动作中确定下一步评价值最大的最优动作；

按照所述探索概率从所述预设待选动作中进行选择、按照所述最优概率对所述下一步评价值最大的最优动作进行选择，得到所述下一步动作。

6.根据权利要求5所述的方法，其特征在于，所述探索概率和实时步长成反比例关系，所述实时步长为所述预设训练总步长和所述得到的当前五元组的个数相除得到的余数。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于预设目标值网络和所述预设数据库，对所述预设在线值网络进行参数更新，包括：

从所述预设数据库中，获取所述预设样本个数个的样本五元组；

根据所述预设目标值网络和所述预设样本个数个的样本五元组中的每个样本五元组，得到所述每个样本五元组对应的目标值；

根据所述预设在线值网络和所述每个样本五元组，得到所述每个样本五元组对应的评价值；

利用均方根反向传播算法，根据所述目标值、所述评价值和预设误差计算函数，对所述预设在线值网络进行参数更新。