[发明专利]数据作业的评价方法、装置及电子设备

说明书

本发明实施例涉及数据分析技术领域，公开了一种数据作业的评价方法、装置及电子设备，该方法包括：采集数据作业的配置信息；解析所述数据作业的配置信息，确定不同数据作业之间的关系；根据所述数据作业之间的关系，计算获得用于定量衡量所述数据作业的重要程度的评价结果。通过上述方式，本发明实施例可以快速直观的体现不同数据作业的重要程度，在调度时帮助快速的定位无效业务，提高数据作业的管理效率，并且可以动态的对数据作业的重要性进行量化，灵活的调整作业的等级，从而使数据平台能够灵活快速的响应业务的变化。

技术领域

本发明实施例涉及数据分析技术领域，具体涉及一种数据作业的评价方法、装置及电子设备。

背景技术

随着科学技术的不断进步，在各种领域的数据量开始不断的膨胀和上升。为了应对庞大的数据量，许多企业都开始应用各种不同类型的数据处理工具，例如各种形式的数据库、处理平台等，对数据进行有序的处理。

惯常的，后台数据库在每时每刻都有大量的数据作业在执行，表现为对数据进行加载、清洗、汇总转换、统计分析等加工操作。这些数据作业一般通过数据作业调度平台进行统一的调度管理，确保所有数据作业按需有序执行，保证作业按时保质完成。

但是，随着数据作业的数量的不断增长，不同的数据作业之间的引用关系或者依赖关系也越来越复杂，如何提高数据作业调度能力，提供具有高性能的调度方案是一个重要的研究热点问题。

在实现本发明实施例的过程中，发明人发现：现有的数据作业调度过程中，对于数据作业的重要级别以及是否无效作业等的评价都是由业务人员根据自身经验进行判别。这样的人工操作方式随着作业数量的线性增长以及业务人员经验标准差异，会导致部分作业重要等级缺失以及误判。

另外，数据作业的重要等级监控配置也依赖运维人员不定期的人工配置。导致运维工作量大，也无法及时根据作业变更以及实际使用情况进行调整。从而导致一些无效作业长期占用资源。

发明内容

鉴于上述问题，本发明实施例提供了一种数据作业的评价方法、评价装置、电子设备及计算机存储介质，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种数据作业的评价方法。所述方法包括：

采集数据作业的配置信息；

解析所述数据作业的配置信息，确定不同数据作业之间的关系；

根据所述数据作业之间的关系，计算获得用于定量衡量所述数据作业的重要程度的评价结果。

在一种可选的方式中，所述根据所述数据作业之间的关系，计算获得用于定量衡量所述数据作业的重要程度的评价结果，具体包括：

根据所述数据作业之间的关系和预设的统计范围阈值，确定所述数据作业的关联矩阵；

基于所述关联矩阵，迭代计算获得每一个所述数据作业对应的评分值。

在一种可选的方式中，所述基于所述关联矩阵，迭代计算获得每一个所述数据作业对应的评分值，具体包括：

为每一个数据作业赋予一个随机值；

通过幂迭代法，根据数据作业之间的关系，迭代计算以更新所述数据作业的评分值；

判断所述数据作业的随机值是否满足预设的收敛条件；

若是，结束所述迭代计算并输出所述数据作业的评分值。

在一种可选的方式中，所述方法还包括：

判断所述数据作业是否满足预设的评级设置；

若是，对所述数据作业的评分值进行对应的加权处理。

在一种可选的方式中，所述方法还包括：