[发明专利]存储系统、用于由存储系统学习故障策略的方法以及介质

权利要求书

1.一种存储系统，包括：

用于从存储设备收集状态数据的存储设备接口；和

策略学习代理，用于：

将收集的状态数据编码为存储设备状态，以及

应用强化学习过程来在所述存储设备状态上训练主动学习故障策略，所述主动学习故障策略包含状态-动作对，每一对基于针对给定存储设备状态从动作集合中选择动作的概率，所述动作集合包括在所述存储设备上启动故障减轻过程或不采取动作，

其中所述强化学习过程用于：

监视所述主动学习故障策略响应于所述存储设备状态选择什么动作，以及

根据选择启动与所述存储设备的故障相关的所述故障减轻过程的及时性，奖励所述主动学习故障策略，所述奖励的幅度是与所述存储设备的故障相关的先前选择的动作的及时性的函数。

2.根据权利要求1所述的系统，其中，所述策略学习代理用于将所述主动学习故障策略初始化为由监督机器学习使用存储设备状态针对已知存储设备故障的历史数据所导出的静态故障策略。

3.根据权利要求2所述的系统，还包括策略执行器，所述策略执行器用于从外部服务器接收所述静态故障策略，并且用于基于从所收集的所述状态数据所编码的存储设备状态来在所述存储设备上实现所述静态故障策略，

其中所述策略执行器用于实现所述静态故障策略，并且所述策略学习代理用于并行地应用所述强化学习过程以训练所述主动学习故障策略。

4.根据权利要求1所述的系统，其中，所述强化学习过程用于利用SARSA(λ)。

5.根据权利要求1所述的系统，其中，所述状态数据包括SCSI模式页面或密钥代码限定符。

6.根据权利要求1所述的系统，其中，所述强化学习过程用于针对在所述存储设备的故障之前的预定时间段处选择在所述存储设备上启动所述故障减轻过程而用最大奖励来奖励所述主动学习故障策略，

以及所述强化学习过程用于针对在所述存储设备的故障之前的所述预定时间段处未选择在所述存储设备上启动所述故障减轻过程而用惩罚来奖励所述主动学习故障策略。

7.根据权利要求6所述的系统，其中，所述存储设备的所述故障包括所述存储设备报告SMART跳闸，并且所述预定时间段至少是用于执行所述故障减轻过程的持续时间。

8.一种用于由存储系统学习故障策略的方法，所述存储系统包括用于实现机器可读指令的物理处理资源，所述方法包括：

基于从耦合到所述存储系统的存储设备收集的状态数据对存储设备状态进行编码；

根据包含状态-动作对的主动学习故障策略、基于所述存储设备状态来选择动作，所述状态-动作对基于概率模型规定对于特定存储设备状态，对应动作是等待下一个存储设备状态还是在所述存储设备上启动故障减轻过程；和

基于从先前选择的动作产生的奖励来调整所述主动学习故障策略，所述奖励的幅度是与所述存储设备的故障相关的所述先前选择的动作的及时性的函数。

9.根据权利要求8所述的方法，包括：

将所述主动学习故障策略初始化为由监督机器学习系统使用存储设备状态针对已知存储设备故障的历史数据所导出的静态故障策略；和

向所述监督机器学习系统发送与所述主动学习故障策略相关联的调用归属数据，以供所述监督机器学习系统来与所述静态故障策略进行比较。

10.根据权利要求8所述的方法，其中，根据Q(λ)、时间差(λ)或SARSA(λ)来执行调整存储设备故障策略。

11.根据权利要求8所述的方法，其中，所述状态数据包括SCSI模式页面或密钥代码限定符。

12.根据权利要求8所述的方法，其中，如果所述先前选择的动作正在启动所述故障减轻过程并且所述存储设备在此后的预定时间段处发生故障，则所述奖励的所述幅度包括最大正值。