[发明专利]在线学习方法

说明书

本发明提供了一种在线学习方法，包括：计算第一动作的第一评价指标；计算第二动作的第二评价指标；当第一评价指标大于第二评价指标时，将场景状态信息和第一动作作为第一缓存数据进行存储；当第一评价指标小于第二评价指标时，将场景状态信息和第一动作、以及第二动作作为第二缓存数据进行存储；第一缓存数据和第二缓存数据构成缓存数据；当缓存数据的数据量大于预设阈值时，从缓存数据中获取采样数据；当采样数据来源于第一缓存数据时，利用强化学习算法对第一系统进行训练；当采样数据来源于第二缓存数据时，利用监督式强化学习算法对第一系统进行训练，提升了决策系统的决策能力和鲁棒性。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于规则监督的在线学习方法。

背景技术

随着人工智能的兴起，机器学习被应用到各个领域，而机器学习在自动驾驶领域的应用则是自动驾驶的可靠性和安全性的保障。自动驾驶技术的核心之一在于一个完备的决策系统。这个决策系统需要保证无人驾驶车辆的安全性，同时应该符合人类驾驶员的驾驶习惯和舒适性需求。

常用的机器学习方法通常是采集大量的训练数据，离线的对深度神经网络进行训练，而在实际使用的过程中不再对神经网络进行更新，这种方式完全依赖于神经网络效果的泛化性，在处理复杂的应用环境时存在着较大的安全隐患。

当前机器学习在自动驾驶领域的应用主要依赖于深度强化学习(DeepReinforcement Learning,DRL)。理想情况下，经过充分训练的深度神经网络可以应对不同道路状况，做出相对合理的驾驶决策。与传统机器学习过程相似，基于深度强化学习的决策系统需要大量训练数据训练神经网络，然而有限的模拟仿真和实际道路训练不能包含所有未知的实际道路情况，因此考虑到神经网络的泛化性有限，在实际使用中车辆遇到某些未知场景时驾驶系统很可能做出不安全的决策动作。

现有深度神经网络在训练时仅仅能够在奖励值函数的约束下进行优化，然而奖励值函数往往并不能完全符合人类驾驶员对车辆运行的所有定义。因此在车辆实际运行过程中，需要对不合理的动作进行监督，然而目前并未有结合监督与强化学习的训练方法。

发明内容

本发明实施例的目的是提供一种在线学习方法，以解决现有技术中存在的不能完全符合车辆运行的所有情况的问题。

为解决上述问题，本发明提供了一种在线学习方法，所述方法包括：

第一系统根据获取的场景状态信息，生成第一动作，并计算第一动作的第一评价指标；

第二系统根据获取的场景状态信息，生成第二动作，并计算第二动作的第二评价指标；

比较所述第一评价指标和所述第二评价指标，当所述第一评价指标大于所述第二评价指标时，将所述场景状态信息和所述第一动作作为第一缓存数据进行存储；当所述第一评价指标小于所述第二评价指标时，将所述场景状态信息和所述第一动作、以及所述第二动作作为第二缓存数据进行存储；所述第一缓存数据和所述第二缓存数据构成缓存数据；

当所述缓存数据的数据量大于预设阈值时，从所述缓存数据中获取采样数据；

判断所述采样数据的来源，当所述采样数据来源于第一缓存数据时，利用强化学习算法对所述第一系统进行训练；当所述采样数据来源于第二缓存数据时，利用监督式强化学习算法对所述第一系统进行训练。

优选的，利用公式计算第一动作的第一评价指标；其中，s为场景状态信息；g为第一动作；r_t为第t次迭代中，执行当前动作获得的奖励值大小，γ为折扣率。

优选的，所述当所述采样数据来源于第一缓存数据时，利用强化学习算法对所述第一系统进行训练，包括：