[发明专利]按需代码执行系统中执行环境的有效状态维持

说明书

描述了用于通过在按需代码执行系统上执行代码来在数据集的处理期间提供维持状态信息的系统和方法。不要求这种系统的执行环境来维持状态，而是公开了一种中间装置，所述中间装置从呼叫队列中检索对所述系统的呼叫，并将所述呼叫迭代地提交给所述系统。所述队列内的每个呼叫对应于要分析的所述数据集的数据项。在将呼叫提交给所述系统时，所述中间装置提交所述呼叫内的反映处理所述数据集的状态的状态信息。对所述呼叫的响应包括基于对所述呼叫内的数据项的处理而更新的状态信息。因此，维持状态信息以用于处理所述数据集，而无需在单独执行环境内留存状态信息。

背景技术

计算装置可利用通信网络来交换数据。公司和组织运营将许多计算装置互连以支持操作或向第三方提供服务的的计算机网络。计算系统可位于单个地理位置中或位于(例如，通过私有或公共通信网络互连的)多个不同的地理位置中。具体地，数据中心或数据处理中心(在本文中总体上称为“数据中心”)可包括许多互连的计算系统以向数据中心的用户提供计算资源。数据中心可以是代表组织运营的私有数据中心，或代表公众或为公众利益运营的公共数据中心。

为了有利于提高对数据中心资源的利用，虚拟化技术允许单个物理计算装置托管作为独立的计算装置对数据中心的用户呈现和操作的一个或多个虚拟机的实例。通过虚拟化，单个物理计算装置可以动态方式创建、维持、删除或以其他方式管理虚拟机。进而，用户可向数据中心请求计算机资源，包括单个计算装置或联网计算装置的配置，并且被提供不同数量的虚拟机资源。

在一些情形下，可根据多种虚拟机实例类型配置虚拟机实例以提供特定功能性。例如，各种计算装置可与操作系统或操作系统配置、虚拟化硬件资源和软件应用程序的不同组合相关联，以使得计算装置能够提供不同的期望功能性，或者更有效地提供类似功能性。这些虚拟机实例类型配置通常包含在装置映像内，所述装置映像包括静态数据，所述静态分组含虚拟机一旦启动就将运行的软件(例如，OS和应用程序以及它们的配置和数据文件等)。装置映像通常存储在用于创建或初始化实例的磁盘上。因此，计算装置可处理装置映像以便实现期望的软件配置。

数据中心的一种示例性用途是处理或分析使用单个计算装置进行分析可能不切实际的大型数据集。已经开发出各种技术以允许多个计算装置(或者在一些情况下，单个计算装置内的多个处理器)同时处理数据。这种并发数据处理有时称为“并行化”。一种用于允许在处理数据集中进行并行化的技术是“映射化简(MapReduce)”编程模型。此编程模型通常需要集中的“基础结构”或“框架”，所述“基础结构”或“框架”控制一组装置内的单独计算装置对两个函数的执行。第一个函数(即“映射”函数)的执行致使多个装置处理全套原始数据的各部分(或“分块”)以生成一组中间结果，诸如文本语料库内的单独单词的计数。第二个函数(即“化简”函数)的执行致使一个或多个装置组合(来自多个映射函数的)多组中间结果以产生一组聚合结果。可多次执行化简函数，其中每次执行进一步减少聚合结果的数量，直到创建出单个聚合结果记录为止。在映射化简编程模型的传统实现方式中，基础结构或框架通常必须连续执行以协调映射和化简函数的执行，直到提供结果为止。

附图说明

图1是描绘说明性环境的框图，在所述环境中，按需代码执行系统可操作来通过利用轮询装置维持处理数据集的状态信息来处理数据集，使得按需代码执行系统内的单独执行环境不需要维持状态信息；

图2描绘提供图1的工作器管理器的计算装置的总体架构；

图3是描绘用于利用轮询装置维持通过在图1的按需代码执行系统的执行环境内执行代码来处理数据集的状态信息的说明性交互的流程图；

图4是图形地描绘在处理数据集并且具体地是使得能够将一组数据项分割成各自可独立地处理的多个子集的装置的再分配期间在图1的轮询器装置之间传递状态信息的图；

图5是图形化地描绘在处理数据集并且具体地是使得能够将多组数据项合并成单个超集的装置的再分配期间在图1的轮询器装置之间传递状态信息的图；并且