[发明专利]内燃机的控制装置以及控制方法

权利要求书

1.一种内燃机的控制装置，构成为通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量进行变化，具备：

存储装置，其构成为预先存储关系规定数据和已适配数据，所述关系规定数据是对状态变量与所述操作部的操作量的关系进行规定的数据，在所述车辆的行驶期间被进行更新，所述状态变量是表示包括所述内燃机的状态的所述车辆的状态的变量，所述已适配数据是在基于所述状态变量的检测值的所述操作量的运算中使用的数据，在所述车辆的行驶期间不被进行更新；和

执行装置，其构成为执行所述操作部的操作，

所述执行装置构成为执行：

第1运算处理，使用所述已适配数据，基于所述状态变量的检测值来运算所述操作量；

第2运算处理，运算由所述关系规定数据和所述状态变量确定的值来作为所述操作量；

强化学习处理，基于根据由所述第2运算处理运算出的所述操作量操作所述操作部时的所述状态变量的检测值来算出奖励，并且，基于所述状态变量、所述操作量以及所述奖励来对所述关系规定数据进行更新以使所述奖励的期待收益增加；

第1操作处理，执行所述第1运算处理，并且，根据基于该第1运算处理的所述操作量的运算值来对所述操作部进行操作；

第2操作处理，执行所述第1运算处理和所述第2运算处理这两方，并且，根据基于所述第2运算处理的所述操作量的运算值来对所述操作部进行操作；以及

切换处理，根据所述车辆的状态将操作所述操作部的处理在所述第1操作处理与所述第2操作处理之间进行切换。

2.根据权利要求1所述的内燃机的控制装置，

在基于所述第2操作处理的所述操作部的操作时，所述第1运算处理限定于基于所述第1操作处理的所述操作部的操作时所运算的多个操作量中的一部分操作量来进行运算。

3.根据权利要求2所述的内燃机的控制装置，

在将所述一部分操作量所包含的操作量之一作为了第1操作量时，所述第1运算处理包括反馈修正处理，所述反馈修正处理是在所述第1操作量的运算时所执行的处理，所述反馈修正处理根据所述控制量的目标值与检测值的偏差来对所述第1操作量进行修正。

4.根据权利要求2所述的内燃机的控制装置，

在将所述一部分操作量所包含的操作量之一作为了第2操作量时，

所述已适配数据包括对将所述状态变量作为输入、且将所述第2操作量作为输出的映射进行规定的数据，

所述第1运算处理包括缓变化处理，所述缓变化处理是在所述第2操作量的运算时所执行的处理，所述缓变化处理是将所述状态变量的检测值作为输入、且输出相对于该检测值具有延迟地进行跟踪的值来作为所述映射的输入值的处理、和输出相对于所述映射的输出值具有延迟地进行跟踪的值来作为所述第2操作量的运算值的处理这两个处理中的某一方的处理。

5.根据权利要求3所述的内燃机的控制装置，

在将所述一部分操作量所包含的操作量之一作为了第2操作量时，

所述已适配数据包括对将所述状态变量作为输入、且将所述第2操作量作为输出的映射进行规定的数据，

所述第1运算处理包括缓变化处理，所述缓变化处理是在所述第2操作量的运算时所执行的处理，所述缓变化处理是将所述状态变量的检测值作为输入、且输出相对于该检测值具有延迟地进行跟踪的值来作为所述映射的输入值的处理、和输出相对于所述映射的输出值具有延迟地进行跟踪的值来作为所述第2操作量的运算值的处理这两个处理中的某一方的处理。

6.根据权利要求1～5中任一项所述的内燃机的控制装置，

所述车辆是进行手动加速行驶和自动加速行驶的车辆，所述手动加速行驶根据驾驶员的加速踏板操作进行车辆的加减速，所述自动加速行驶不基于所述加速踏板操作而自动地进行所述车辆的加减速，

所述切换处理是如下处理：根据所述车辆是正在进行所述手动加速行驶还是正在进行所述自动加速行驶，在所述第1操作处理与所述第2操作处理之间切换对操作部进行操作的处理。

7.一种内燃机的控制方法，通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量进行变化，所述控制方法包括：

预先存储关系规定数据，所述关系规定数据是对状态变量与所述操作部的操作量的关系进行规定的数据，在所述车辆的行驶期间被进行更新，所述状态变量是表示包括所述内燃机的状态的所述车辆的状态的变量；

预先存储已适配数据，所述已适配数据是在基于所述状态变量的检测值的所述操作量的运算中所使用的数据，在所述车辆的行驶期间不被进行更新；以及

执行所述操作部的操作，

执行所述操作部的操作包括执行：

第1运算处理，使用所述已适配数据，基于所述状态变量的检测值来运算所述操作量；

第2运算处理，运算由所述关系规定数据和所述状态变量确定的值来作为所述操作量；

强化学习处理，基于根据由所述第2运算处理运算出的所述操作量操作所述操作部时的所述状态变量的检测值来算出奖励，并且，基于所述状态变量、所述操作量以及所述奖励来对所述关系规定数据进行更新以使所述奖励的期待收益增加；

第1操作处理，执行所述第1运算处理，并且，根据基于该第1运算处理的所述操作量的运算值来对所述操作部进行操作；

第2操作处理，执行所述第1运算处理和所述第2运算处理这两方，并且，根据基于所述第2运算处理的所述操作量的运算值来对所述操作部进行操作；以及

切换处理，根据所述车辆的状态将操作所述操作部的处理在所述第1操作处理与所述第2操作处理之间进行切换。