[发明专利]存储系统、用于由存储系统学习故障策略的方法以及介质

说明书

示例实现涉及故障策略。例如，在实现中，将存储设备状态数据编码为存储设备状态。根据故障策略、基于存储设备状态来选择动作，其中故障策略规定，基于概率模型，对于特定存储设备状态，对应动作是不采取动作还是在存储设备上启动故障减轻过程。根据相关于存储设备的故障而选择启动故障减轻过程的时间性，对故障策略进行奖励。

技术领域

本公开总体涉及数据存储。

背景技术

可以在RAID(独立冗余磁盘阵列)配置中的存储阵列中实现诸如硬盘驱动器或固态驱动器之类的存储设备。存储设备可能会意外失败。多个存储设备在同一时间或者大约同一时间的故障可能会破坏RAID集合。

发明内容

根据本公开的一个方面，本公开涉及一种存储系统，包括：用于从存储设备收集状态数据的存储设备接口；和策略学习代理，用于：将收集的状态数据编码为存储设备状态，以及应用强化学习过程来在所述存储设备状态上训练主动学习故障策略，所述主动学习故障策略包含状态-动作对，每个状态-动作对是基于针对给定存储设备状态从动作集合中选择动作的概率的，所述动作集合包括在所述存储设备上启动故障减轻过程或不采取动作，其中所述强化学习过程用于：监视所述主动学习故障策略响应于所述存储设备状态选择什么动作，以及根据选择启动与所述存储设备的故障相关的所述故障减轻过程的及时性，奖励所述主动学习故障策略。根据本公开的又一方面，本公开涉及一种用于由存储系统学习故障策略的方法，所述存储系统包括用于实现机器可读指令的物理处理资源，所述方法包括：基于从耦合到所述存储系统的存储设备收集的状态数据对存储设备状态进行编码；根据包含状态-动作对的主动学习故障策略、基于所述存储设备状态来选择动作，所述状态-动作对基于概率模型规定对于特定存储设备状态，对应动作是等待下一个存储设备状态还是在所述存储设备上启动故障减轻过程；和基于从先前选择的动作产生的奖励来调整所述主动学习故障策略，所述奖励的幅度是与存储设备的故障相关的所述先前选择的动作的及时性的函数。

根据本公开的另一方面，本公开涉及一种存储可由存储系统的处理资源执行的指令的非暂时机器可读介质，所述非暂时机器可读介质包括：用于基于从与所述存储系统通信的存储设备收集的状态数据对存储设备状态进行编码的指令；用于基于所述存储设备状态在所述存储设备上实现第一故障策略的指令，所述第一故障策略由离线监督机器学习使用针对已知存储设备故障的存储设备状态的历史数据而导出；用于基于所述存储设备状态和包括状态-动作对的第二故障策略来选择动作的指令，所述状态-动作对规定根据概率模型，针对特定存储设备状态，对应动作是在所述存储设备上启动所述故障减轻过程还是不采取动作；和用于经由强化学习过程、基于从先前选择的动作产生的奖励来调整所述第二故障策略的指令，所述奖励的幅度是与所述存储设备的故障相关的所述先前选择的动作的及时性的函数。

附图说明

下面将参考以下附图描述各种示例。

图1是描绘实现静态故障策略并在存储设备状态上训练主动学习故障策略的示例系统的框图。

图2描绘了与启动故障减轻策略相关的基于时间的示例奖励功能。

图3是描绘用于学习故障策略的示例方法的流程图。

图4是描绘应用强化学习过程来在存储设备状态上训练故障策略的示例系统的框图。

图5是描绘用于学习故障策略的示例方法的流程图。

图6是示例存储系统的框图，该示例存储系统包括用经由强化学习过程来调整故障策略的示例指令进行编码的非暂时机器可读介质。

遍及整个附图，相同的参考标号可以指定相似但不必相同的元素。附加到一些参考标号的带有连字符号的索引号“N”可以被理解为仅表示多个，并且对于具有这样的索引号“N”的每个参考标号，可以不必表示相同的数量。另外，本文中使用不带有连字符号的索引号的参考标号——其中，这些参考标号在其他地方以带有连字符号的索引号来指代——可以是集体地或单独地对于相应的多个元素的一般性参考。