[发明专利]线程化作为服务

说明书

对同时提交申请的交叉引用

本申请的申请人在2014年9月30日同时提交以下美国专利申请：

以上引用的申请的公开内容通过引用整体并入本文。

背景

一般来说，计算装置利用通信网络或一系列通信网络进行数据交换。公司和组织操作互连许多计算装置来支持操作或者向第三方提供服务的计算机网络。计算系统可位于单一地理位置或者位于多个不同地理位置中(例如，经由私有或公共通信网络互连)。确切地，数据中心或数据处理中心(在本文中总体称之为“数据中心”)可包括多个互连的计算系统以向数据中心的用户提供计算资源。数据中心可以是代表某一组织操作的私有数据中心或代表公众或者为了公众的利益操作的公共数据中心。

为了促进数据中心资源的加大利用，虚拟化技术可允许单个物理计算装置托管虚拟机的一个或多个实例，所述虚拟机作为独立计算装置向数据中心的用户展现并操作。利用虚拟化，单个物理计算装置可按照动态方式创建、维护、删除或以其他方式管理虚拟机。进而，用户可从数据中心请求计算机资源，包括单一计算装置或联网计算装置配置，并且可提供用户不同数目的虚拟机资源。

在一些场景中，虚拟机实例可根据多个虚拟机实例类型进行配置以提供特定功能性。例如，各种计算装置可与操作系统或操作系统配置、虚拟化硬件资源和软件应用的不同组合相关联，以使得计算装置能够提供不同的所希望的功能性，或者更有效地提供类似功能性。这些虚拟机实例类型配置经常包含在装置图像内，所述装置图像包括静态数据，所述静态数据包含虚拟机在被启动时将运行的软件(例如，OS和应用以及它们的配置和数据文件等)。装置图像典型地存储在用来创建或初始化实例的硬盘上。因此，计算装置可处理装置图像以便实现所希望的软件配置。

附图简述

当结合附图参阅以下详细描述时，本公开的上述方面和许多伴随的优点将变得更容易明白，同时变得更好理解，附图中：

图1是描绘用于获取低延时计算能力的说明性环境的框图；

图2描绘提供用于获取低延时计算能力的虚拟计算系统管理器的计算装置的总体架构；

图3是示出根据示例性方面的由工作器管理器实现的低延时计算能力获取例程的流程图；并且

图4是示出处理执行用户代码的请求的虚拟机实例管理过程的框图。

详细描述

公司和组织不再需要获取和管理他们自己的数据中心来执行计算操作(例如，执行代码，包括线程、程序、软件、例程、子例程、进程等)。随着云计算的出现，传统上由硬件计算装置提供的存储空间和计算能力现在可在数分钟内通过互联网获得并配置。因此，开发者可快速购买期望量的计算资源，而不必担心获取物理机器。这类计算资源通常以虚拟计算资源或虚拟机实例的形式来购买。在具有其自己的操作系统和其他软件部件的物理计算装置上托管的虚拟机的这些实例可以以与物理计算机相同的方式加以利用。

然而，即使在购买虚拟计算资源时，开发者仍不得不决定要购买的虚拟机实例的数量和类型以及持有时间。例如，根据它们租用的类型和小时数，使用虚拟机实例的成本可能不同。另外，虚拟机可被租用的最小时间典型地以小时计。进一步地，开发者不得不指定安装在虚拟机上的硬件和软件资源(例如，操作系统类型和语言运行时间等)。它们可能具有的其他问题包括利用过度(例如，获取极少计算资源而面临性能问题)、利用不足(例如，获取比运行代码所需更多的计算资源，并且因此付费过度)、流量变化预测(例如，以使得它们了解何时放大规模或减小规模)以及实例和语言运行时间启动延迟(这可花费3-10分钟或者更长，即使用户可能希望计算能力以秒或者甚至毫秒计)。因此，需要一种允许用户利用由服务提供商提供的虚拟机实例的改进方法。

根据本公开的各方面，通过维护一旦接收到用户请求就准备好使用的预初始化虚拟机实例的池，与执行用户代码相关联的延迟(有时称为延时)(例如，实例和语言运行时间启动时间)可显著减少。

一般来说，本公开的各方面涉及对虚拟机实例和其中创建的容器的管理。具体地，公开有助于虚拟计算系统中的虚拟机实例的管理的系统和方法。虚拟计算系统维护在其上加载有一个或多个软件部件(例如，操作系统、语言运行时间、库等)的虚拟机实例的池。池中的虚拟机实例可指定来服务用户请求以执行程序代码。程序代码可在虚拟机实例上创建的隔离容器中执行。由于池中的虚拟机实例已经被启动并且在接收到请求时加载有特定的操作系统和语言运行时间，所以与发现可处理请求(例如，通过在虚拟机实例上创建的一个或多个容器中执行用户代码)的计算能力相关联的延迟显著减少。