[发明专利]用于通过按需代码执行环境处理数据源内的多个数据项的系统和计算机实现的方法

摘要

描述了系统和方法，其用于将数据源内的数据集转换成对按需代码执行环境或其他分布式代码执行环境的一系列任务调用。此类环境利用预初始化的虚拟机实例来使得能够以快速方式执行用户指定的代码，而没有通常由所述虚拟机实例的初始化引起的延迟，并且此类环境通常用来在其被创建时近实时地处理数据。然而，计算资源的限制可能阻碍用户利用按需代码执行环境来同时处理大的、现有的数据集。本申请提供一种任务生成系统，所述任务生成系统可迭代地从现有数据集检索数据项并生成对所述按需计算环境的对应的任务调用，同时确保针对所述现有数据集内的每个数据项进行至少一个任务调用。

主权项

1.一种用于通过按需代码执行环境处理数据源内的多个数据项的系统，所述系统包括：非暂时性数据存储库，所述非暂时性数据存储库被配置来实现：进程内数据高速缓存，所述进程内数据高速缓存指示来自所述多个数据项的已由所述系统标识但尚未在所述按需代码执行环境处处理的数据项；以及结果数据高速缓存，所述结果数据高速缓存指示来自所述多个数据项的已在所述按需代码执行环境处处理的数据项；被配置来实现用户接口子系统的一个或多个处理器，所述用户接口子系统从用户计算装置获得标识所述数据源以及所述按需代码执行环境上的用于处理所述多个数据项的任务的信息；被配置来实现数据检索子系统的一个或多个处理器，所述数据检索子系统：从所述数据源检索来自所述多个数据项的第一数据项集合；并且针对所述数据项集合中的数据项：生成所述数据项的标识符；根据所述标识符确定所述数据项未被标识在所述进程内数据高速缓存或所述结果数据高速缓存内；并且将所述数据项入列在所述进程内数据高速缓存中；被配置来实现调用生成子系统的一个或多个处理器，所述调用生成子系统：从所述进程内数据高速缓存标识一个或多个数据项；向所述按需代码执行环境提交用于执行处理所述一个或多个数据项的所述任务的调用；确定所述任务已成功处理所述一个或多个数据项；并且将所述一个或多个数据项置于所述结果数据高速缓存中；其中当所述多个数据项已在所述按需代码执行环境处被处理时，所述用户接口子系统进一步向所述用户计算装置发送通知。