[发明专利]针对基于深度神经网络的Q学习修剪经验存储器的方法和装置

摘要

本技术涉及由代理收集新经验、将新经验与存储在代理的存储器中的经验进行比较，以及基于比较或者丢弃新经验或者用新经验覆盖存储器中的经验。例如，代理或相关联的处理器可以确定新经验与存储的经验的相似程度。如果新经验太相似，则代理丢弃它；否则，代理将它存储在存储器中并丢弃先前存储的经验。基于经验与先前存储的经验的相似性来收集和选择性地存储经验解决了技术问题并产生了许多技术改进。例如，减轻了存储器大小约束、减少或消除了神经网络发生灾难性遗忘的可能性，并提高了神经网络性能。

主权项

1.一种用于为机器人生成动作的计算机实现的方法，所述方法包括：收集机器人的第一经验，所述第一经验表示：机器人在第一时间的第一状态，由机器人在所述第一时间采取的第一动作，由机器人响应于所述第一动作而接收的第一奖励，以及在所述第一时间之后的第二时间机器人响应于所述第一动作的第二状态；确定所述第一经验与存储在机器人的存储器中的多个经验之间的相似程度；基于所述第一经验与所述多个经验之间的相似程度来修剪所述存储器中的所述多个经验，以形成存储在所述存储器中的经修剪的多个经验；用所述经修剪的多个经验训练与机器人相关联的神经网络；以及使用神经网络为机器人生成第二动作。