[发明专利]Q学习中调整状态空间边界的方法和装置

权利要求书

1.一种Q学习中调整状态空间边界的方法，应用于业务运行系统，其特征在于，包括：

根据所述系统在第一时段的第一状态，确定所述第一状态所在的分段，并确定所述分段对应的多个动作中Q值最大的第一动作，其中，所述分段是所述系统状态的状态值连续取值范围中的一段，每个动作的Q值用于表示执行所述每个动作后所述系统可获得的预期收益值；

执行所述第一动作，并在执行所述第一动作后的第二时段，计算执行所述第一动作后，所述系统获得的实际收益值；

判断所述多个动作中是否存在Q值大于所述实际收益值的第二动作，若所述多个动作中存在Q值大于所述实际收益值的第二动作，则调整所述分段的边界；

其中，若所述多个动作中存在Q值大于所述实际收益值的第二动作，则调整所述分段的边界，包括：

将所述分段的边界调整为所述第一状态的状态值。

2.根据权利要求1所述的方法，其特征在于，每个状态的属性使用所述系统的下列参数中的至少一项进行表征：

内存利用率、中央处理器CPU的利用率、网络利用率和所使用的机器数量。

3.根据权利要求1或2所述的方法，其特征在于，所述执行所述第一动作之前，所述方法还包括：

确定所述第一状态的状态值是否属于所述分段的预设区域，所述预设区域内每个状态的状态值与所述分段的边界值之间的差值小于或等于预设阈值；

当确定所述第一状态的状态值属于所述预设区域时，采用(1-ε)的概率执行所述第一动作。

4.根据权利要求1或2所述的方法，其特征在于，所述调整所述分段的边界，包括：

采用以下任意一种算法调整所述分段的边界：

分治法、聚类法和分类法。

5.一种Q学习中调整状态空间边界的装置，配置在业务运行系统中，其特征在于，包括：

处理单元，用于根据所述系统在第一时段所处于的第一状态，确定所述第一状态对应的分段，并确定所述分段对应的多个动作中Q值最大的第一动作，其中，所述分段是所述系统状态的状态值连续取值范围中的一段，每个动作的Q值用于表示执行所述每个动作后所述系统可获得的预期收益值；

所述处理单元，还用于执行所述第一动作，并在执行所述第一动作后的第二时段，计算执行所述第一动作后，所述系统获得的实际收益值；

所述处理单元，还用于判断所述多个动作中是否存在Q值大于所述实际收益值的第二动作，若所述多个动作中存在Q值大于所述实际收益值的第二动作，则调整所述分段的空间边界；

其中，所述处理单元具体用于将所述分段的空间边界调整为所述第一状态的状态值。

6.根据权利要求5所述的装置，其特征在于，每个状态的属性使用所述系统的下列参数中的至少一项进行表征：

内存利用率、中央处理器CPU的利用率、网络利用率和所使用的机器数量。

7.根据权利要求5或6所述的装置，其特征在于，所述处理单元具体用于：

确定所述第一状态的状态值是否属于所述分段的预设区域，所述预设区域内每个状态的状态值与所述分段的边界值之间的差值小于或等于预设阈值；

当确定所述第一状态的状态值属于所述预设区域时，采用(1-ε)的概率执行所述第一动作。

8.根据权利要求5或6所述的装置，其特征在于，所述处理单元具体用于采用以下任意一种算法调整所述分段的边界：

分治法、聚类法和分类法。