[发明专利]数据运行优化处理方法和装置

说明书

本发明公开了一种数据运行优化处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待检测数据；基于异常值检测算法确定所述待检测数据中的热点数据；根据所述热点数据的指标计数值确定所述热点数据的分桶个数；根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。通过以上步骤，能够很好地解决现有处理热点导致数据运行中所存在的规划滞后、无法兼顾时效与网站不稳定和浪费运算资源的问题，提高用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据运行优化处理方法和装置。

背景技术

随着各大网络平台的普及，各类爆品、促销活动等容易导致曝光、浏览、点击、加购、订单等多个环节数据出现热点数据，从而致使在后台运行的任务加工过程中对涉及到热点数据的关联、分组、聚合等操作时产生数据倾斜，进而数据处理延迟，在用户端出现延迟卡顿的情况。

目前针对此种现象，大多是在数据倾斜发生后，手动调整sql计算逻辑设定将热点数据固定打散若干倍数，无法自适应调控打散倍数。在后续并行计算时，只能固定并行计算的任务数量，无法合理利用资源使用情况自适应调节同时运行的任务数量。

在实现本发明过程中，发明人发现现有的在数据倾斜后进行手动干预处理调整运行规划中至少存在如下问题：

(1)规划滞后问题，由于无法预先判断出热点，从而不能预先进行任务资源有效配置；

(2)无法兼顾时效与稳定性问题，由于手动调整sql计算逻辑设定将热点数据固定打散若干倍数已经是在产生数据倾斜之后，因此在用户端不仅会存在延迟与不稳定的现象，而且由于需要实时调整会造成用户体验差；

(3)浪费运算资源的问题，对热点数据进行打散后并行计算时，只能固定采用最大任务并行度并行计算，若任务环节数小于此时固定的最大任务并行度，将会浪费运算资源。

发明内容

有鉴于此，本发明实施例提供一种数据运行优化处理方法和装置，能够很好地解决现有处理热点数据导致数据倾斜所存在的规划滞后、无法兼顾时效与稳定性和浪费运算资源的问题的至少一个，提高用户体验。

为实现上述目的，根据本发明的第一个方面，提供了一种数据运行优化处理方法。

本发明的数据运行优化处理方法包括：获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，根据所述热点数据的指标计数值确定所述热点数据的分桶个数，根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。

可选地，所述获取待检测数据包括：基于实时流处理引擎获取与采集配置信息对应的实时流数据，并将所述实时流数据作为待检测数据；和/或，根据采集配置信息查询离线数据表，以得到与之对应的离线数据，并将查询到的所述离线数据作为待检测数据。其中，所述采集配置信息包括：关注字段、关注字段对应的热点数据评价指标。

可选地，所述异常值检测算法包括：正态分布3倍标准差算法，或，四分位箱型图算法。

可选地，在所述异常值检测算法为正态分布3倍标准差算法时，所述基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值；确定所述待检测数据对应的正态分布的三倍标准差，并将其作为第一统计量；从所述待检测数据中筛选出所述汇聚后的指标计数值超过所述第一统计量的数据作为样本数据；确定所述样本数据对应的正态分布的三倍标准差，并将其作为第二统计量；从所述样本数据中筛选出所述指标计数值超过第二统计量的数据作为热点数据。