[发明专利]用于在多线程计算机系统中提供高性能和公平的机制

说明书

根据一个实施例，处理器包括执行流水线，其用于执行多个线程，包括第一线程和第二线程。该处理器进一步包括多线程控制器(MTC)，其耦合至执行流水线，该多线程控制器用于：基于线程切换策略，确定是否在第一线程和第二线程之间切换线程，该线程切换策略是从基于第一线程和第二线程的不公平等级的多个线程切换策略的列表中选出的；以及响应于确定切换线程，从执行第一线程切换到执行第二线程。

技术领域

本发明的多个实施例总体涉及处理器架构，更具体地说，涉及用于在在多线程计算机系统中提供高性能和公平的技术。

背景技术

许多现代计算机系统能够执行多于一个的不同软件程序或“线程”，而不必显式地保存一个线程的状态并且恢复另一线程的状态。出于该原因，它们被称为“多线程”计算机系统。按照被称为顺序多线程操作的一种常规方式，操作系统或其他控制机制通过允许作为执行的候选的每一个线程在处理器上顺序地操作来允许若干线程共享资源。可将在线程之间改变称为线程切换。按照这些常规方法中的一些方法，在当前正在执行的线程(即，前台线程)执行了某段时期或达到其不能继续的时刻(例如，等待存储器访问或输入/输出(I/O)传输完成或仅仅为了确保多个任务间的公平)时，这些线程被切换。可基于严格的优先级，选择将被切入(被允许使用执行资源)的下一线程。按照其他方法，轮循方法可用于线程切换。

多线程操作(MT)通过允许两个(或更多)软件进程同时使用共享的系统资源来增加总的系统吞吐量。当共享资源不完全由任何单个进程利用并可由另一进程同时有利地使用时，增加了系统吞吐量。使系统吞吐量最大化等同于使共享资源的利用最大化。

在时效性的多线程操作中，在任意给定时间，仅一个线程可利用主执行流水线，因此系统必须显式地将该流水线切换到其他线程，以便通过那个线程执行指令。每一个线程被分配给各自保持单独的架构状态的不同的硬件线程。应当以使系统吞吐量最大化(或等效地，使利用最大化)的目标来引导线程切换策略。这包括诸如此类策略：在当前的前台线程不能取得比后台线程更多的进展时切换线程，或者使由任何线程使用的关键资源的时间最小化。注意，此类策略应当考虑切换线程的开销(当传入和传出进程都不能取得进展时)。

虽然系统资源增加的总利用是多线程化操作的主要动机，但是，完全忽视系统上硬件线程之间的公平概念会导致客户可见的性能问题，包括拒绝服务和系统崩溃。

例如，如果线程“A”完全受计算约束并且多线程策略仅关注使总利用最大化，则将没有理由切换到线程“B”。可行的线程切换策略需要从使总利用最大化中作出足够的退让，以便保证所有线程的向前进展，并且满足所有线程的期望的服务质量(QoS)度量。

当两个线程共享资源时，给予每一个线程公平的访问意味着什么呢？一些公平概念建立在给予全部请求者(线程)对共享资源的相同量的访问的基础上。对应于该理念的MT公平策略能以聪明的方式(Solomon-style)划分该资源，并且给予两个线程中的每一个线程恰好该资源的一半。在主流水线的情况下，这意味着给予每一个线程一半时间来独占使用该流水线。

虽然该方法对同类的工作负荷很有作用，但总体来说它是浪费的。假设线程“A”在75％的时间需要该主流水线，但是线程“B”仅在20％的时间需要该主流水线，则总资源需求为95％。如果精确地给予每一个线程该流水线的50％，则该流水线的总利用仅为70％。线程“A”使用50％的全部分配，而线程“B”仅消耗其需要的那20％。

该“全都平等”的公平概念可能导致使由每一个线程因多线程操作而经历的放缓相等的MT策略。当每一个线程的资源需求不同时，该策略也有类似问题。如果在程序执行期间每一个线程的资源需求发生变化，则使放缓相等会导致严重的低效率并损害总利用，进而限制源自多线程操作的性能增益。