[发明专利]存储系统的IO压力调度系统

说明书

本发明公开了一种存储系统的IO压力调度系统，该系统包括：IO接收模块，用于接收用户应用发给存储系统的IO请求；IO缓存模块，用于将接收到的IO请求暂存到IO处理队列上；检测模块，用于至少检测IO数据通路上多个模块的资源使用情况、队列深度、和带宽占用情况；IO派发模块，用于根据检测模块检测到的存储系统实时的资源使用情况、队列深度、和带宽占用情况，对各个IO类型重新分配相应的队列深度，并且按照重新分配的队列深度，从IO缓存模块获取相应量的IO数据派发到IO数据通路上。

技术领域

本发明涉及数据存储技术领域，具体来说，涉及一种存储系统的IO压力调度系统。

背景技术

近年来，随着信息技术和人类生产生活交汇融合，全球数据规模急速增长，在医疗、高性能计算、数字媒体等各行各业对大量数据的依赖愈加严重，对海量数据的存储和管理，保证存储数据的高稳定性、可靠性和高可用性将对提升社会生产力和提高人民生活质量发挥不可替代的重要作用。

在传统的存储系统中，为了提升系统的吞吐性能并保证数据一致性，一般采用增加数据的多级缓存、采用多级存储介质等方式才实现。存储系统通过分析数据的访问频率、保留时间、数据大小等指标，将数据在一定时间内存储在高速存储介质(例如SSD、NVDIMM或RAM)中，并且能够通过多副本的模式，保证数据的可靠，不仅缩短了系统对用户数据IO的响应时间，同时一定程度上通过缓存层对数据的聚合缓解了存储系统对低速磁盘的访问压力。

通过这样的机制虽然一定程度上解决了性能的问题，但也对存储系统的高稳定性和可靠性带来了诸多问题。现在的存储系统作为一种底层的基础设施，被动接受处理用户应用发起的数据IO，随着增加缓存、高速存储介质层等不断优化，在一些复杂场景或系统压力较大时，有以下几个问题：首先，系统压力大时，IO处理效率降低，由于无法预测用户使用场景，如果IO数据仍然不断地进入，造成系统中IO逐渐积累，会不断加剧系统压力，使系统长时间无法恢复正常；其次，随着系统层次的增多，任何一个模块的异常都会对系统的性能带来开销，可能成为系统的性能瓶颈，降级了系统的高稳定性，不能满足存储系统服务对IO延时、抖动的要求。

发明内容

针对相关技术中的上述问题，本发明提出一种存储系统的IO压力调度系统，能够解决存储压力较大时造成的性能抖动、IO延时不稳定的问题。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种存储系统的IO压力调度系统，包括：

IO接收模块，用于接收用户应用发给存储系统的IO请求；

IO缓存模块，用于将接收到的IO请求暂存到IO处理队列上；

检测模块，用于至少检测IO数据通路上多个模块的资源使用情况、队列深度、和带宽占用情况；

IO派发模块，用于根据检测模块检测到的存储系统实时的资源使用情况、队列深度、和带宽占用情况，对各个IO类型重新分配相应的队列深度，并且按照重新分配的队列深度，从IO缓存模块获取相应量的IO数据派发到IO数据通路上。

根据本发明的实施例，存储系统的IO压力调度系统，其特征在于，还包括：队列整理模块，用于对IO处理队列上的IO请求重新进行排序，其中，在存储系统收到IO请求之后，IO派发模块从IO处理队列中取出排在队尾的IO请求并按照检测模块计算出的允许队列深度进行投递。

根据本发明的实施例，当检测模块检测到多个模块中的一个模块的队列深度小于设定阈值时，则不进行带宽限制；当检测模块检测到一个模块的队列深度大于设定阈值时，则对IO派发模块的队列深度进行调整。

根据本发明的实施例，对IO派发模块的队列深度进行调整包括：