[发明专利]具有强化学习代理的热自学习

说明书

半导体封装设备的实施例可包括：基于包括处理器信息、热信息和冷却信息中的一个或多个的输入信息来学习系统的热行为信息的技术，并基于所学习的热行为信息和输入信息来提供信息以调整处理器的参数和冷却子系统的参数中的一个或多个。公开并要求保护其他的实施例。

技术领域

实施例总体地涉及热管理系统。更具体地，实施例涉及具有强化学习代理的热自学习。

背景

对于许多计算机系统，有效的冷却解决方案对于确保高系统性能是重要的。热冷却可包括被动冷却和主动冷却。主动冷却可包括风扇、散热器或散热的其他传热组件。被动冷却包括软冷却技术，用以抑制CPU频率(例如，或功率)以减少产生的热量。主动冷却涉及空气冷却(例如，运行风扇以将产生的热量消散到环境中)，液体冷却(例如，运行泵以循环液体以消散热量)等。

附图说明

通过阅读以下的说明和所附权利要求并通过参考附图，实施例的各种优点对于本领域技术人员就将变得显而易见，在附图中：

图1是根据实施例的电子处理系统的示例的框图；

图2是根据实施例的半导体封装设备的示例的框图；

图3A至图3B是根据实施例的管理热系统的方法的示例的流程图。

图4A至图4B是根据实施例的另一电子处理系统设备的示例的框图；

图5A至图5B是根据实施例的另一电子处理系统设备的示例的框图；

图6A和图6B是根据实施例的热管理设备的示例的框图；

图7是根据实施例的处理器的示例的框图；以及

图8是根据实施例的系统的示例的框图。

具体实施方式

现在转向图1，电子处理系统10的实施例可包括：处理器11；存储器12，通信地耦合到处理器11；传感器13(例如，热传感器、气流传感器、功率传感器、活动传感器等)，通信地耦合到处理器11；冷却子系统14(例如，包括被动和/或主动冷却组件)，通信地耦合到处理器11；以及机器学习代理15，通信地耦合到处理器11；传感器13；和冷却子系统14。机器学习代理可以包括逻辑16，用于基于来自处理器11、传感器13、和冷却子系统14中的一个或多个的信息来学习系统的热行为信息，并且基于所学习的热行为信息和来自处理器11、传感器13和冷却子系统14中的一个或多个的信息来调整处理器11的参数(例如，功率、频率、利用率等)和冷却子系统14的参数(例如，功率、风扇速度、泵吞吐量、空气限制等)中的一个或多个。在一些实施例中，逻辑16可以被配置成基于来自处理器11、传感器13、和冷却子系统14中的一个或多个的强化信息来学习系统10的热行为信息。例如，强化信息可包括奖励信息和惩罚信息中的一个或多个。

在一些实施例中，逻辑16可以进一步被配置成基于增加奖励信息并减少惩罚信息的调整值来学习系统10的热行为以。例如，增加的奖励信息可以对应于增加的处理器频率和减少的主动冷却中的一个或多个，并且增加的惩罚信息可以对应于高于阈值温度的处理器温度。在一些实施例中，机器学习代理15可以包括具有Q学习的深度强化学习代理(例如，其中“Q”可以指动作值对或动作值函数)。在一些实施例中，机器学习代理15/或逻辑16可以位于包括处理器11在内的各种组件中，或者与包括处理器11在内的各种组件共处一地(例如，在同一个管芯上)。