[发明专利]车辆用控制装置、车辆用控制系统、以及车辆用学习装置

权利要求书

1.一种车辆用控制装置，具备处理电路以及存储装置，

在所述存储装置中，存储有规定车辆的状态和行动变量的关系的关系规定数据，所述行动变量是与所述车辆内的电子设备的操作有关的变量，

所述处理电路构成为执行：

取得处理，取得基于传感器的检测值的所述车辆的状态；

操作处理，基于由所述关系规定数据和通过所述取得处理取得的所述车辆的状态确定的所述行动变量的值，操作所述电子设备；

奖励算出处理，是基于通过所述取得处理取得的所述车辆的状态给予奖励的处理，且在所述车辆的特性满足基准的情况下所给予的所述奖励比所述车辆的特性不满足所述基准的情况下所给予的所述奖励大；以及

更新处理，将通过所述取得处理取得的所述车辆的状态、在所述电子设备的操作中使用了的所述行动变量的值、以及与该操作对应的所述奖励用作向预先确定的更新映射的输入，更新所述关系规定数据，

所述更新映射输出以使关于在按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益增加的方式更新了的所述关系规定数据，

在所述关系规定数据指定的所述行动变量的值为第1值时通过所述操作处理按照该第1值操作所述电子设备的处理，被设为在第1状况中能够执行、且在第2状况中无法执行，

与所述第1状况对应的所述车辆的状态为第1状态，

与所述第2状况对应的所述车辆的状态为第2状态，

在所述关系规定数据中，对于所述第1状态，将所述第1值定义为所述行动变量的值，另一方面，对于所述第2状态，不将所述第1值定义为所述行动变量的值。

2.根据权利要求1所述的车辆用控制装置，

所述操作处理包括限制处理，所述限制处理中，

在所述关系规定数据指定的所述行动变量的值为第1值的情况下，在所述第1状况中允许进行按照所述第1值操作所述电子设备的处理，并且，

在所述关系规定数据指定的所述行动变量的值为第1值的情况下，在所述第2状况中不允许进行按照所述第1值操作所述电子设备的处理。

3.根据权利要求2所述的车辆用控制装置，

所述第1状况是上次的所述行动变量的值与所述第1值之差的绝对值为预定值以下的状况，

所述第2状况是上次的所述行动变量的值与所述第1值之差的绝对值超过所述预定值的状况。

4.根据权利要求3所述的车辆用控制装置，

所述限制处理包括：

存储处理，存储所述行动变量的上次的值；和

限制所述行动变量的本次的值，以使得所述本次的值与所述行动变量的上次的值之差的绝对值成为预定值以下的处理。

5.根据权利要求2所述的车辆用控制装置，

所述关系规定数据，是规定将所述车辆的状态用作输入，输出所述行动变量的值的选择概率的函数近似器的数据，

所述更新映射包含：输出规定所述函数近似器的参数的更新量的映射，

所述限制处理包括：禁止进行按照所述函数近似器输出的选择概率成为低于预定值的所述行动变量的值的、所述电子设备的操作的处理，

所述第1状况是所述第1值的选择概率成为所述预定值以上的状况，

所述第2状况是所述第1值的选择概率成为低于所述预定值的状况。

6.根据权利要求3所述的车辆用控制装置，

所述限制处理包括：

存储处理，将表示用于算出所述行动变量的值的所述状态的变量的值的上次的值与所述关系规定数据一起存储；和

校正处理，在表示所述状态的变量的值的上次的值与本次的值之差的绝对值超过规定值的情况下，对表示所述状态的变量的值进行校正，以使得与所述上次的值之差的绝对值成为所述规定值以下。

7.一种车辆用控制系统，具备权利要求1～6中任一项所述的所述处理电路以及所述存储装置，

所述处理电路包含：搭载于所述车辆的第1执行装置、和与车载装置不同的第2执行装置，

所述第2执行装置构成为至少执行所述更新处理，

所述第1执行装置构成为至少执行所述取得处理以及所述操作处理。