[发明专利]来源驱动的作业相关性评估

说明书

本文中描述了一种用于基于预测的用户影响来对共享计算集群的作业进行排名和/或关于该作业的执行来采取动作的系统和方法。例如，从(多个)作业执行日志中获取关于多个作业的先前执行的信息。确定多个作业的数据依赖性。根据所确定的数据依赖性来计算多个作业中的每个作业的作业影响。根据所确定的数据依赖性、所计算的作业影响和时间来计算多个作业中的每个作业的用户影响。根据所计算的用户影响来对多个作业进行排名。根据多个作业的排名来采取动作。该动作可以包括作业的自动调度和/或向用户提供关于排名的信息。

背景技术

大型公司使用越来越复杂的基础设施来收集、存储和分析大量数据。例如，特定基础设施可以包括大量超大型集群(例如，每个集群最多50,000个节点)，该集群服务于数千个消费者(例如，数据科学家)，每天运行数十万个作业，并且访问数十亿个文件。

发明内容

本文中描述了一种用于基于预测的用户影响来对共享计算集群的作业进行排名和/或关于该作业的执行来采取动作的系统，该系统包括处理系统，该处理系统包括一个或多个处理器和其上存储有计算机可执行指令的一个或多个存储器，该计算机可执行在由一个或多个处理器执行时使处理系统：获取关于多个作业的先前执行的信息；确定多个作业的数据依赖性；根据所确定的数据依赖性来计算多个作业中的每个作业的作业影响；根据所确定的数据依赖性、所计算的作业影响和时间来计算多个作业中的每个作业的用户影响；根据所计算的用户影响来对多个作业进行排名；以及根据多个作业的排名来采取动作。

提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

图1是示出用于基于预测的用户影响来对共享计算集群的作业进行排名和/或关于该作业的执行来采取动作的系统的功能框图。

图2是图形用户界面。

图3是示出基于预测的用户影响来对共享计算集群的作业进行排名和/或关于该作业的执行来采取动作的方法的流程图。

图4是示出基于预测的用户影响来对任务进行排名和/或关于该任务的执行来采取动作的方法的流程图。

图5是示出示例性计算系统的功能框图。

具体实施方式

现在参考附图描述与基于预测的用户影响来对共享计算集群的作业进行排名和/或关于该作业的执行来采取动作有关的各种技术，其中相同的附图标记始终用于表示相同的元素。在下面的描述中，出于解释的目的，阐述了很多具体细节以便提供对一个或多个方面的透彻理解。然而，很清楚的是，这样的(多个)方面可以在没有这些具体细节的情况下实践。在其他实例中，以框图形式示出了公知的结构和设备，以便于描述一个或多个方面。此外，应当理解，被描述为由某些系统组件执行的功能可以由多个组件执行。类似地，例如，组件可以被配置为执行被描述为由多个组件执行的功能。

本公开支持各种产品和过程，这些产品和过程执行或被配置为执行与基于预测的用户影响来对共享计算集群的作业进行排名以及可选地对该作业的执行进行优先级排序有关的各种动作。以下是一种或多种示例性系统和方法。

本公开的各方面涉及以下技术问题：在考虑到作为时间的函数的作业效用(jobutility)的情况下基于作业影响来对要执行的作业进行优先级排序。与解决该问题相关联的技术特征涉及(例如，从(多个)作业执行日志)获取关于多个作业的先前执行的信息；确定多个作业之间的数据依赖性；根据所确定的数据依赖性来计算多个作业中的每个作业的作业影响；根据所确定的数据依赖性、作业影响和时间来计算多个作业中的每个作业的用户影响；基于所计算的用户影响来对多个作业进行排名；以及根据多个作业的排名来采取动作。因此，这些技术特征的各方面表现出更高效且有效地调度作业的技术效果，例如，减少资源消耗和/或资源浪费。