[发明专利]管理混合部署的共享资源管理方法、系统及服务器系统

说明书

本发明提供一种管理混合部署的共享资源管理方法、系统及服务器系统，所述管理混合部署的共享资源管理方法包括：接收用户云服务请求，并将所述用户云服务请求分配至对应的节点服务器，其中，不同的云服务与后台批处理任务部署于不同的节点服务器；接收所述用户云服务请求的节点服务器在检测到负载变化后，搜索当前负载下的一组最佳资源配置并应用；监测云服务质量，并在云服务质量违例时，从后台批处理任务处回收资源补偿云服务，直至云服务质量得到满足。本发明在无需升级硬件设备与不增加数据中心额外负担的提前下，在同时保证云服务的服务质量、满足服务器能耗限制的基础上，最大化后台批处理任务的吞吐量。

技术领域

本发明涉及大数据处理技术领域，特别是涉及大数据资源管理技术领域。

背景技术

如今，数据中心的巨大能耗成为了学术界和工业界共同关注的热点问题。由国际环保组 织“绿色和平”与华北电力大学联合发布的报告指出，2018年中国数据中心总用电量为 1,608.89亿千瓦时，占中国全社会用电量的2.35％，超过上海市2018年全社会用电量(1,567 亿千瓦时)。照此趋势预计，2023年中国数据中心总用电量将达到2,667.92亿千瓦时，未来 5年(2019年-2023年)将增长66％，年均增长率将达到10.64％。2019年，国家工信部、国 家机关事务管理局和国家能源局三部委联合发布的《关于加强绿色数据中心建设的指导意见》 强调，要大力推动绿色数据中心创建、运维和改造，引导数据中心走高效、清洁、集约、循 环的绿色发展道路，实现数据中心持续健康发展。

为应对数据中心能耗挑战，当前数据中心采用了功耗封顶(Power Capping)技术，即限 制数据中心服务器的峰值能耗，通过对每一台服务器能耗的准确控制，避免能源过度供应， 以控制运行成本。此外，由于数据中心上运行的云服务(网络搜索、网络购物等)负载动态 变化且受用户活动影响，一般呈现昼夜规律，这导致除了高峰时段外，其余时间服务器上的 资源没有得到充分利用，而数据中心运行商通常将云服务与后台批处理任务混合部署在同一 物理服务器上，并借助共享资源隔离技术在混合部署的应用间进行资源划分，此举既保证了 云服务的服务质量(Quality-of-Service，Qos)，又提高了数据中心的资源利用率。

然而，传统的混合部署资源管理系统大多缺乏对服务器能耗限制的考虑，在对混合部署 应用进行资源分配时将造成能耗超限，此类系统如运行在能耗受限的数据中心上将导致分配 失败。一些资源管理系统则在检测到能耗即将超限时，降低后台批处理任务的CPU核心频率， 此举虽然能满足能耗限制，但欠缺了对应用程序资源偏好的考虑，无法最大化后台批处理任 务的性能(吞吐量)。具体而言，在某一系统负载下，存在多组能同时满足云服务服务质量 要求与服务器能耗限制的资源分配方案，这些资源分配方案产生了不同的后台批处理任务吞 吐量，而其中的某一组资源配置可产生最高的吞吐量(最佳配置)。然而，最佳配置并非总 能通过降低频率获得，而是由当前系统负载、服务器功耗限制、混合部署应用程序的资源偏 好共同决定。

现有技术中，Powerchief系统能够识别服务器的能耗限制情况，并根据云服务的不同执 行阶段应用相应的加速技术，以保证云服务在资源受限服务器上运行时的服务质量。但 Powerchief系统没有考虑当前主流的将云服务与后台批处理任务混合部署的情况，无法最大 化数据中心资源利用率。此外，现有技术中，Heracles系统运行于云服务与后台批处理任务 混合部署的场景下，基于云服务的历史延迟记录信息分配共享资源，在检测到能耗即将超限 时降低后台批处理任务的CPU核心频率以控制能耗。但Heracles系统没有考虑应用程序的资 源偏好与多组可用资源配置，无法最大化后台批处理任务吞吐量。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种管理混合部署的共享资源管 理方法、系统及服务器系统，用于解决现有技术无法有效配置和平衡混合部署的云服务与后 台应用程序的技术问题。