[发明专利]一种基于大数据任务的自适应部署方法、装置及电子设备

说明书

本申请公开一种基于大数据任务的自适应部署方法、装置及电子设备，该方法包括启动任务集合中的第一任务，并根据资源分配策略，为第一任务分配设备资源，当确定第一任务完全正常运行时，运行第一任务，并启动任务集合中的第二任务，然后根据资源分配策略为第二任务分配设备资源；当确定设备资源被分配完后，如果第一任务部分正常运行，则关闭第一任务不能正常运行的部分，并生成相应的报警报告。基于上述方法可以实现在有限的设备资源下，通过自动运维，充分的利用设备资源，解决当前大数据任务部署过程中存在设备资源浪费的问题。

技术领域

本申请涉及大数据技术领域，尤其涉及一种基于大数据任务的自适应部署方法、装置及电子设备。

背景技术

大数据任务的部署是个复杂的过程，目前的大数据任务的实施部署,一般是先获取用户的数据量级,如100w/s的TPS(Transaction Processing Systems，事务处理系统),然后根据测试得到设备资源的性能参数，如设备计算量等,为用户提供一个大数据任务的部署方案。例如，需要3台XXX内存XXX CPU(Central Processing Unit,中央处理器)配置的设备，符合用户大数据任务所需的部署性能要求。

然而，上述方法在实际操作中存在设备资源浪费的问题。例如，若经过测试得到在3台内存128g的集群的环境下(3*128＝384g内存),为大数据任务分配256g的内存,最高可以计算500w/s的数据量，那么,就会以此为标准配置大数据任务的资源。然而，如果用户的数据量没有达到500w/s或者用户的集群性能更高，换而言之，在这种情况下，大数据任务不需要被分配这么多的资源,这其中就造成了设备资源的浪费。

发明内容

本申请提供一种基于大数据任务的自适应部署方法、装置及电子设备，实现在有限的设备资源下，通过自动运维，充分的利用设备资源，用以解决当前大数据任务部署过程中存在设备资源浪费的问题。

第一方面，本申请提供了一种网络资产变化监控的方法，所述方法包括：

启动任务集合中的第一任务，并根据资源分配策略，为所述第一任务分配设备资源，其中，所述资源分配策略表征根据预设比例为所述任务集合中的任务分配所述设备资源的策略；

若所述第一任务完全正常运行，则运行所述第一任务，并启动所述任务集合中的第二任务，根据所述资源分配策略为所述第二任务分配所述设备资源；

在所述设备资源被分配完后，若所述第一任务部分正常运行，则关闭所述第一任务不能正常运行的部分，并生成相应的报警报告。

通过上述方法，实现在有限的设备资源下，通过自动运维，充分的利用设备资源。

在一种可能的设计中，在所述启动任务集合中的第一任务，并根据资源分配策略，为所述第一任务分配设备资源之前，还包括：

获取携带优先级标识的多个大数据任务，其中，每个大数据任务包括多个携带子优先级标识的计算任务，所述优先级标识表征任务启动的先后顺序；

根据所述优先级标识，对所述大数据任务进行排序，得到第一排序结果；

根据所述子优先级标识，对每个大数据任务中的所述计算任务进行排序，得到第二排序结果；

根据所述第一排序结果以及所述第二排序结果，得到按照优先级排序的任务集合。

通过上述方法，通过对大数据任务进行优先级排序，实现在自动运维中针对性地分配设备资源。

在一种可能的设计中，所述根据资源分配策略，为所述第一任务分配设备资源，包括：

为所述第一任务分配预设比例的设备资源，其中，所述第一任务包括多个计算任务；