[发明专利]对并行运算进行性能消耗优化分析的方法及装置

说明书

本申请涉及一种对并行运算进行性能消耗优化分析的方法及装置，其中方法包括：对并行运算任务数据执行数据切分操作，得到至少两个子数据块；确定对子数据块执行的并行处理操作所对应的性能消耗信息；根据性能消耗信息分析得到并行运算任务数据对应的目标性能信息；根据目标性能信息确定并行运算对应的性能优化策略。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：可以通过实时对并行运算任务数据进行数据分析，能够深入的了解该数据对应任务的执行运行情况，进行给出合理的、规范化的性能优化策略提示；同时，当存在多个任务，可以分别对每个任务进行分析，确保每一个任务都能进行有效的优化；进而为企业做到真正的降本增效。

技术领域

本申请涉及大数据技术领域，尤其涉及一种对并行运算进行性能消耗优化分析的方法及装置。

背景技术

在目前大数据应用的环境下，如何降本增效成了企业日益关系的议题，每一台物理机的成本都比较高昂，在动辄几个亿的研发成本中，设备的成本费用，往往是居高不下，并且随着业务方面的迭代更新，设备需求量也在不断的扩大，针对这方面的成本管控，成了唯一能有效抑制成本的特殊手段，但是如何降低机器成本，满足当前的业务计算需求，是当今企业都共同面临的一大困难。

现阶段，针对计算资源的使用管控，目前都是人工干预，简单粗暴的进行作业计算资源最大值限制，对申请资源进行限制，对参数限制，对使用时段进行限制，然而往往部分重要核心的计算任务，因为不满足当前的特殊限制，导致错过了为业务决策提供重要参考的时机。

现有的人工干预计算作业执行的方法，由于平台计算作业数量较多，无法做到每日、每时的实时监控，并且无法将计算作业进行系统性的性能消耗分析，并且提供针对每个任务量身定制化的优化服务。往往针对个别任务进行优化，无法从平台整体上进行计算作业性能上的提升，无法为企业做到真正的降本增效。

针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种对并行运算进行性能消耗优化分析的方法及装置。

第一方面，本申请提供了一种对并行运算进行性能消耗优化分析的方法，包括：

对并行运算任务数据执行数据切分操作，得到至少两个子数据块；

确定对所述子数据块执行的并行处理操作所对应的性能消耗信息；

根据所述性能消耗信息分析得到所述并行运算任务数据对应的目标性能信息；

根据所述目标性能信息确定并行运算对应的性能优化策略。

可选的，如前述的方法，所述根据所述目标性能信息确定并行运算对应的性能优化策略，包括：

确定所述数据切分操作对应的物理内存使用信息；

根据所述物理内存使用信息确定物理内存目标值；

根据所述物理内存目标值与所述目标性能信息确定并行运算对应的性能优化策略。

可选的，如前述的方法，所述确定所述数据切分操作对应的物理内存使用信息，包括：

确定与每个所述子数据块对应的所述数据切分操作对物理内存进行使用时的内存使用峰值，最小内存使用值以及平均内存使用值；

根据所有所述内存使用峰值中数值最大的内存使用峰值，得到分配给所述数据切分操作的切分内存使用值。

可选的，如前述的方法，在所述确定对所述子数据块执行的并行处理操作所对应的性能消耗信息之前，还包括：

确定所述子数据块将数据形式转换后的中间数据进行暂存时溢出缓存区的最大溢出数据量；其中，所述缓存区为物理内存中用于缓存所述转换后子数据块的区域；