[发明专利]车辆用控制系统、装置、控制方法以及存储介质

说明书

提供一种车辆用控制系统、车辆用控制装置、车辆用学习装置、车辆用控制方法以及存储介质。分类处理基于与车辆有关的信息，将多个车辆分类为多个组群。更新处理为了按被分类后的各组群来对关系规定数据进行更新，将属于同一组群的多个车辆的状态、在属于该同一组群的多个车辆的电子设备的操作中使用了的行动变量的值以及与该操作对应的奖励作为向关系规定数据的更新映射的输入。

技术领域

本公开涉及车辆用控制系统、车辆用控制装置以及车辆用学习装置。

背景技术

例如日本特开2016－6327号公报记载了一种控制装置，其基于对加速踏板的操作量进行滤波处理后的值，对作为搭载于车辆的内燃机的操作部的节气门进行操作。

然而，上述滤波需要根据加速踏板的操作量来将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量。由此，滤波的适配需要熟练人员花费许多工时。这样，以往对于与车辆的状态相应的车辆内的电子设备的操作量等的适配，熟练人员花费了许多工时。

发明内容

以下，对本公开的各方面进行记载。

方面1.提供一种车辆用控制系统，其具备存储装置、第1执行装置以及第2执行装置。所述存储装置存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述第1执行装置搭载于所述车辆，所述第2执行装置有别于车载装置。所述第1执行装置和所述第2执行装置构成为以协作的方式执行以下的处理。状态取得处理取得对所述车辆的状态进行检测的传感器的检测值。操作处理操作所述电子设备。奖励算出处理基于通过所述状态取得处理取得的所述检测值，在所述车辆的特性满足基准的情况下，与所述车辆的特性不满足基准的情况相比，给予较大的奖励。更新处理将基于通过状态取得处理取得的所述检测值的所述车辆的状态、在所述电子设备的操作中使用了的所述行动变量的值以及与该操作对应的所述奖励作为向预先确定的更新映射的输入，从而对所述关系规定数据进行更新。车辆信息取得处理取得与所述车辆有关的信息。分类处理基于与所述车辆有关的信息，将多个所述车辆分类为多个组群。所述第1执行装置构成为至少执行所述状态取得处理和所述操作处理。所述第2执行装置构成为至少执行所述更新处理、所述车辆信息取得处理以及所述分类处理。所述操作处理包括根据通过所述更新处理进行了更新的所述关系规定数据和所述车辆的状态来操作所述电子设备的处理。所述更新映射构成为输出以使按照所述关系规定数据来操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据。对于所述更新处理，为了按被分类后的所述组群对所述关系规定数据进行更新，将属于同一组群的多个所述车辆的状态、在属于该同一组群的多个所述车辆的所述电子设备的操作中使用了的行动变量的值以及与该操作对应的所述奖励作为向所述更新映射的输入，从而由所述第2执行装置来执行。

在上述构成中，通过算出伴随着电子设备的操作的奖励，能够掌握通过该操作能得到什么样的奖励。并且，基于奖励来通过进行了强化学习的更新映射对关系规定数据进行更新。由此，能够将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的值。因此，能够在将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的值时，削减对熟练人员所要求的工时。

进一步，在上述构成中，基于关于多个车辆的状态、行动变量的值以及奖励，对单一的关系规定数据进行更新。由此，例如与基于单一车辆的状态、行动变量的值以及奖励来对单一的关系规定数据进行更新的情况相比，能够提高更新频度。

在此，根据车辆的行驶环境、消耗程度、用户的驾驶喜好等，车辆的状态和适当的行动变量的值的组可能不同。于是，在上述构成中，按通过分类处理对车辆进行分类而得到的各组群，对关系规定数据进行更新。由此，例如与基于与具备系统内的第1执行装置的整体车辆有关的车辆的状态、行动变量的值以及奖励来对单一的关系规定数据进行更新的情况相比，能够对于各组群来说将关系规定数据更新为更适当的数据。