[发明专利]吞吐量优化的服务质量预警功率封顶系统

说明书

本公开涉及吞吐量优化的服务质量预警功率封顶系统。描述了一种通过动态控制来使功率超额订用服务中的面向吞吐量的作业的中断最小化的方法。该机制以与硬件无关的方式控制功率，并且该策略采用了多阈值方法，可以在功率安全和工作负载影响之间取得平衡。此外，当功率测量不可用时，替代的控制机制可以确保系统正常运行。

相关申请的交叉引用

本申请要求2020年5月27日提交的美国临时专利申请No.63/030,639的提交日期的权益，其公开内容通过引用合并于此。

技术领域

本公开涉及吞吐量优化的服务质量预警功率封顶系统。

背景技术

数据中心形成了流行的在线服务(诸如搜索、流传输视频、电子邮件、社交网络、在线购物和云)的骨干。对在线服务的需求的不断增长迫使超大规模提供商投入大量资金来不断扩展其数据中心舰队。这些投资的大部分被分配用于购买和构建基础设施，例如建筑物、电力输送和制冷，以托管组成仓库级计算机的服务器。

如果所有服务器均被100％利用，功率超额订用是在数据中心中部署比数据中心名义上支持的更多的服务器的做法。它可以就地增加现有数据中心的功率容量，并减少未来数据中心构建。另一方面，功率超额订用会在功率峰值期间出现过载的风险，因此通常会附带诸如功率封顶之类的保护系统。功率封顶系统通过防止功率应急期间的过载来实现安全的功率超额订用。功率封顶动作包括暂停低优先级任务，使用诸如动态电压和频率缩放(DVFS)和运行平均功率极限(RAPL)之类的技术节流(throttle)CPU电压和频率，或者打包可用内核子集中的线程。该动作需要与工作负载兼容并满足服务级目标(SLO)。但是，这对于面向吞吐量的工作负载与对延迟敏感的工作负载共置的集群而言是一个挑战。

面向吞吐量的任务代表一类重要的计算工作负载。示例包括Web索引、日志处理和机器学习模型训练。这些工作负载对需要何时完成计算，最后期限通常是以小时为单位，这使得当集群由于功率超额订用面临功率应急时，它们成为性能节流的理想候选。但是，错过最后期限可能会导致严重的后果，诸如收入损失和质量下降，从而使它们不太容易被中断。

延迟敏感的工作负载是另一类。他们需要在毫秒至几秒内完成请求的计算。一个典型的示例是处置用户请求的作业。高延迟会导致不良的用户体验，最终导致用户和收入的损失。与面向吞吐量的流水线不同，此类作业不适合性能节流。它们通常被认为是高优先级，并且需要免于功率封顶。面向吞吐量和延迟敏感的作业通常被共置于同一服务器上，以提高资源利用率。由于需要细粒度的功率封顶机制，因此这对功率封顶提出了巨大挑战。

发明内容

本公开的一个方面提供一种方法，包括：由一个或多个处理器接收对数据中心中的多个机器的功率测量，多个机器实行一个或多个任务；识别多个机器的功率限度；由一个或多个处理器将所接收到的功率测量与多个机器的功率限度进行比较；基于比较，确定是否撤除(shed)由多个机器所消耗的功率；以及由一个或多个处理器命令多个机器根据一个或多个限制进行操作以降低功率消耗。

根据一些示例，该方法可以进一步包括：识别第一阈值；以及识别高于第一阈值的第二阈值；其中，确定是否撤除功率包括确定所接收的功率测量是否满足或超过第二阈值，以及其中，命令多个机器根据一个或多个限制进行操作包括发送命令以使功率消耗降低第一预定百分比。确定是否撤除功率可以包括仅在已经满足或超过第二阈值之后的预定时间段期间，确定所接收的功率测量是否超过第一阈值。当在预定时间段期间满足或超过第一阈值时，该方法进一步可以进一步包括向多个机器发送第二命令，以使功率消耗降低第二预定百分比，该第二预定百分比低于第一预定百分比。

根据一些示例，可以从耦合到多个机器的一个或多个功率计接收测量。