[发明专利]一种云应用导向的固态盘缓存管理系统及方法

权利要求书

1.一种云应用导向的固态盘缓存管理系统，其特征在于包括：控制模块、监测模块、分析模块、决策模块和执行模块；

控制模块：用于协调监测模块、分析模块、决策模块和执行模块的工作，与各模块进行交互并收集结果，基于自适应闭环实现固态盘缓存管理，在一个完整的闭环执行过程中，控制模块首先与监测模块进行交互，依赖监测模块持续监测云应用的工作负载以及虚拟机间的依赖关系，并收集云应用状态和性能数据供后续分析使用；之后与分析模块进行交互，将云应用状态和性能数据传递给分析模块，并收集生成的多层网络模型的相关信息；之后与决策模块进行交互，传入多层网络模型并依赖决策模块完成固态盘缓存管理决策，包括虚拟机放置方案的计算以及进一步的Hypervisor上缓存分配方案的计算；最后与执行模块进行交互，传递具体的固态盘缓存管理决策，由执行模块完成具体的虚拟机的在线迁移以及缓存容量的动态调整；控制模块还负责在检测到云应用工作负载发生突变时触发新一轮的闭环执行；

监测模块：包括部署在Hypervisor上的监测模块和部署在虚拟机上的监测模块；部署在Hypervisor上的监测模块负责监测Hypervisor、固态盘以及缓存的相关信息，相关信息包括Hypervisor的空闲CPU和内存资源、固态盘的最大带宽和IOPS、当前使用的带宽和IOPS、缓存的使用率、读写次数和命中率；部署在虚拟机上的监测模块负责监测虚拟机上部署的云应用组件的相关信息和虚拟机的IO性能，云应用组件的相关信息包括云应用在应对当前工作负载时各事务所占比例及在各组件上的执行时间，组件间的网络交互和依赖关系；虚拟机的IO性能包括已使用的带宽和IOPS，以及由此计算得到的虚拟机的IO负载状况，即已使用的IO资源占可用资源的比例；监测模块会持续监测这些信息，并在闭环执行过程中接收控制模块的请求，返回相应的云应用状态及性能数据供后续分析、决策使用；控制模块在自适应闭环的执行过程中，会首先与监测模块进行交互，以获取必要信息供后续分析模块、决策模块和执行模块使用；

分析模块：用于接收监测模块传递的信息，并构建多层网络模型；多层网络模型包括资源需求端和资源供给端，以及用于匹配的多个决策层；通过分析部署在虚拟机中监测模块传回的云应用组件的网络交互情况和虚拟机IO性能，构建出虚拟机之间的依赖关系图，并进一步遍历出集群中所有虚拟机的依赖关系的所有强连通分量，从而刻画云应用的边界；再结合依赖关系图和虚拟机的IO负载状况构建出虚拟机对固态盘缓存的需求，完成资源需求端的构建；之后，分析模块会组装需要调用的决策模块并适配后端的资源供给端，完成多层网络模型的构建；控制模块在自适应闭环的执行过程中，会将从监测模块处收集得到的云应用的相关信息和虚拟机IO性能信息传递给分析模块，并接收分析模块计算得到的多层网络模型的拓扑结构和其中选取的决策层，供后续与决策模块交互时使用；

决策模块：用于匹配多层网络模型中的供给端和需求端，实现资源供给和需求的最优化匹配；决策模块基于特定算法以实现资源管理的目标，表现为多层网络中的决策层；目前包含两个默认的决策层，第一决策层采用二分图匹配算法计算虚拟机的放置方案；第二决策层采用网络流中的最小花费最大流算法计算每一个Hypervisor上虚拟机的应被分配的最优缓存大小；实施时可以根据需求不同扩展出更多决策层；控制模块在接收到分析模块传回的多层网络模型之后，会调用决策模块中指定的决策层，以完成相应的资源管理方案的计算，在调用完模型中选取的所有决策层之后即完成了资源需求端和资源供给端的匹配，并生成了最终的资源管理方案，包括虚拟机的放置方案和缓存分配方案；

执行模块：部署在Hypervisor上；执行模块接受决策模块计算得到的虚拟机放置方案和每个Hypervisor上的虚拟机的固态盘缓存大小，执行具体的虚拟机的动态迁移和缓存容量调整操作；控制模块在自适应闭环的执行过程中，会最后与执行模块进行交互，传入由决策模块生成的资源管理方案，将其应用到虚拟机上；此外，当控制模块触发了新一轮自适应闭环执行时，执行模块也会计算最少步骤的虚拟机动态迁移方案以及对虚拟机上工作负载影响最小的缓存容量调整方案，并进行调整；最终完成云应用导向的固态盘缓存管理。

2.一种云应用导向的固态盘缓存管理方法，其特征在于实现步骤如下：

(1)在目标应用中进行程序插装(Instrumentation)，从而支持监测模块对云应用进行细粒度的监测；针对具体的应用类型和虚拟机上承载的云应用模块，对HTTP访问操作以及数据库和持久化存储的访问操作进行插装，插装代码会通过输出日志的方式给出操作的执行时间和访问目标；

(2)控制模块开始一次完整的自适应闭环执行，控制模块首先与监测模块进行交互，监测模块在获得第(1)步插装代码输出的日志基础上，分析得到云应用在应对用户请求时在各个模块上的执行时间以及具体的网络交互流程和网络访问目标，并返回给控制模块；

控制模块与监测模块进行交互，监测模块调用部署在Hypervisor和虚拟机上的代理(Agent)模块，进行性能监测；部署在虚拟机上的Agent模块会监测磁盘IO操作的执行时间，平均响应时间和带宽，以及IO负载，部署在Hypervisor上的Agent模块会监测各虚拟机对应的缓存使用状况、固态盘状况和CPU、内存、网络资源使用状况；缓存使用状况包括缓存命中率、使用率、读写操作次数；固态盘状况包括的带宽、IOPS和平均响应时间；CPU、内存、网络资源使用状况包括当前已用和空闲的CPU时间、已用和空闲的内存容量，以及已用和空闲的网络带宽，这些性能数据最终返回给控制模块；

(3)在获得第(2)、(3)步由监测模块返回的云应用信息和性能信息之后，控制模块将这些信息传递给分析模块，分析模块会执行多层网络模型的构建；

首先是构建资源需求端，分析模块得到性能信息之后，结合云应用中虚拟机对其他虚拟机的IO依赖关系、对应虚拟机的IO负载和随机访问频率计算得到虚拟机对固态盘缓存的需求；分析模块得到云应用信息之后，将构成云应用的虚拟机之间的依赖关系和网络交互转化为虚拟机的依赖图，依赖图中的节点代表了构成云应用的独立模块，节点与虚拟机一一对应，有向边上的权重代表之前计算得到的虚拟机对固态盘缓存的需求，云应用在执行特定工作负载时的状况可映射为依赖关系图的子图；

其次是构建资源供给端，分析模块得到性能信息之后，将Hypervisor的CPU、内存和网络和固态盘资源进行量化，构建统一的资源供给模型，CPU资源以CPU时间为指标进行量化，内存资源以容量为指标进行量化，网络资源以带宽为指标进行量化，固态盘资源以IOPS和容量为指标进行量化；

最后，分析模块根据云应用的当前工作负载状况，确定调整所需的决策模块，并确定决策模块的应用顺序，构建为多层决策层；

分析模块将构建完成的由资源供给端、资源需求端和多层决策层组成的多层网络模型返回给控制模块；

(4)控制模块根据多层网络模型中的决策层顺序调用相应的决策模块，将整个多层网络模型传递给决策模块，由决策模块根据不同策略实现资源供需的匹配，最后导出固态盘资源的调整方案，包括对虚拟机的固态盘缓存容量进行调整，以及对虚拟机的放置进行调整，决策模块将调整方案发回给控制模块；

在进行虚拟机放置方案的决策时，决策模块将其转化为特定约束条件下的二分图匹配，即在满足供给端的最大服务能力，包括CPU、内存、网络和固态盘资源的前提下均衡分布所有虚拟机，决策模块使用二分图匹配算法实现资源的供需匹配；

在进行虚拟机的固态盘缓存分配决策时，决策模块将其转化为子图上的最小花费最优或最大流问题，即在满足固态盘缓存容量限制的条件下优先将固态盘缓存分配给高性价比的虚拟机，决策模块根据传入的云应用的相关信息分析当前工作负载模式下不同虚拟机的价值，将其映射到虚拟机依赖图上的流量，从而使用最小花费最大流算法确定每台虚拟机应当获得的固态盘缓存比例，完成固态盘缓存分配决策；

(5)控制模块得到调整方案后，将其传递给执行模块，并调用执行模块完成具体调整方案的执行，执行模块首先安全移除当前的虚拟机所使用的固态盘缓存，然后根据当前的虚拟机放置方案和传入的目标放置方案计算优化的虚拟机动态迁移顺序，接着遵循尽可能降低服务质量违约的原则执行虚拟机动态迁移，最后在目标虚拟机上按照传入的缓存分配方案进行缓存分配；

(6)步骤(2)～(5)构成了一次完整的自适应闭环执行，控制模块持续调用监测模块，在监测到云应用工作负载发生突变时按照步骤(2)～(5)的顺序触发新一轮的自适应闭环执行，云应用工作负载突变主要表现为工作负载的组成模式，即各请求所占比例发生突变，以及工作负载的强度，即各节点上的IO操作强度发生突变；

此外，控制模块设定了阈值，以定期触发自适应闭环调整，即步骤(2)～(6)的执行。