[发明专利]一种基于强化学习的动态并行应用程序能耗运行时优化方法及系统

说明书

一种基于强化学习的动态并行应用程序能耗运行时优化方法及系统，属于并行程序能耗优化技术领域，目的是自动地优化并行应用程序的能耗，并且不需要领域专家知识，对程序是透明的。本发明的技术要点包括：程序的阶段根据工作负载的特征，分为计算密集阶段和内存密集阶段，根据应用程序不同的实时工作负载特征，动态调整处理器功率配置，使硬件功率配置文件与运行时动态变化的程序阶段匹配；通过强化学习算法自动探索功率配置空间，根据环境反馈的奖惩信息，不断优化配置空间；最后，根据自动学习到的策略动态调整功率配置以匹配不断变化的程序阶段。本发明实现了自动且动态的并行程序能耗优化，并且该运行时优化系统的开销可以忽略不计。

技术领域

本发明涉及并行应用程序能耗优化技术领域，具体涉及一种基于强化学习的动态并行应用程序能耗运行时优化方法及系统。

背景技术

功率和能耗已经成为高性能科学计算中一个非常关键的问题，未来的高性能计算(High Performance Computing，HPC)系统和并行应用程序将受到明显的功率约束。美国能源部要求每台E级超级计算机的总功率预算不能超过20MW，即每台E级超算需要到达50GFlops/W的能效比。但是，根据最新的Top500超算性能排行榜，目前排名第一的超算是日本的Fugaku，运算速度为415.5PFlop/s，功率为28.3MW，能效比为14.8GFlops/W，远低于50GFlops/W的目标。因此，为了满足高性能并行计算对能源效率的严格要求，需要一种显著提高并行程序能源效率的方法。

目前，主流的处理器制造商已经提供了各种测量、监控和控制处理器和外围设备能耗的技术，例如，DVFS(Dynamic Voltage and Frequency Scaling)、Intel的RAPL(Running Average Power Limit)和AMD的TDP(Thermal Design Power)功率上限约束技术。大量研究工作使用这些硬件功率控制技术降低系统能耗。但是，如何高效地利用这些技术仍是一个挑战。特别是当以动态的能耗优化为目标时，需要精准的捕获程序不同的阶段特征，并且开销小。目前有大量方法使用DVFS技术动态调整处理器的频率，但是这种硬件配置逐渐不再为用户默认提供，RAPL技术提供的功率上限的调整逐渐取代直接的频率调整。功率上限调整技术结合电压和频率的调整，将处理器消耗的功率控制在设定的值之下。因为有时应用程序执行时并不会消耗很高的功率，如果为处理器配置很高的功率预算，将会浪费能量，但是如果为了节约能量将功率上限设置的很低，将严重影响应用程序的性能，因此，根据程序执行阶段的变化动态调整功率配置能够很好的权衡并行程序的性能和能耗。目前有许多启发式算法用于动态能耗优化，但是这些通常需要应用程序的领域专家知识，不具备通用性；传统的机器学习算法都需要大量的数据进行建模，但是强化学习算法是一种与环境不断进行交互和自学习的过程，因此非常适用于自动的动态并行应用程序能耗优化。

文献号为CN201680010063.2的现有技术基于机器学习的性能和能量模型识别特定工作负载行为(例如密集型存储器访问)并且预测最佳功率配置，包括活跃核和线程的数量，以及对于每个活跃核的最佳电压和频率。该专利忽略了多核处理器中与密集型存储器访问密切相关的非核心部分的频率控制，无法充分优化性能和能耗。文献号为CN201380040201.8的现有技术通过提供每个核P状态(PCPS)、非核频率调整(UFS)以及有能量效率的超频(EET)这些特征中的某些或全部的可配置性，以允许在系统内细微地调整处理器。该专利只是提供了这些可配置地以动态功率/性能级别操作处理器的技术，没有提供程序阶段识别(计算密集和内存密集)，无法实现自动能耗和性能优化。

发明内容

鉴于以上问题，本发明提出一种基于强化学习的动态并行应用程序能耗运行时优化方法及系统，目的是在不明显影响并行应用程序执行时间的情况下降低程序的能耗。

根据本发明一方面，提出一种基于强化学习的动态并行应用程序能耗运行时优化方法，该方法包括下述步骤：