[发明专利]一种排名分析函数处理方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种排名分析函数处理方法、装置、电子设备及存储介质，该方法包括：检测到目标执行计划满足预设排名函数优化条件，将待排名数据随机分发至多线程系统；对待排名数据做预设排名函数处理得到初始排名数据，根据预设排名函数数据保留项对初始排名数据进行删减，得到初始删减排名数据；汇总初始删减排名数据得到中间排名数据，将中间排名数据分发至多个线程；对中间排名数据按组别信息做预设排名函数处理，得到最终排名数据，根据预设排名函数数据保留项对最终排名数据进行删减，得到目标执行计划执行结果。该方法解决了在数据分析的过程中，数据分发性能消耗大的问题，实现分析函数的处理过程中有效提高分析函数性能的效果。

技术领域

本发明实施例涉及数据分析技术，尤其涉及一种排名分析函数处理方法、装置、电子设备及存储介质。

背景技术

在进行数据分析时经常出现各种需求，例如，学生成绩排名、业绩排名等。由于在数据分析的过程中，所采用的分析函数是在分组的基础上，对每组数据进行计算，并且返回组内所有行，会导致数据分发时，在数据量很大的情况下，整个分发过程较为复杂。

一般在多线程系统中，组与组之间并行的前提是需要对数据进行分发，将相同组的数据给同一个线程进行处理。

对于现有的数据分析方式，整个数据分析过程会导致数据分发时，在数据量很大的情况下，分发过程存在较大的性能消耗。因此，在数据分析的数据量很大的情况下，如果出现数据分发过程消耗时间较长，也难以加快数据分析的速度。

发明内容

本发明实施例提供一种排名分析函数处理方法、装置、设备及介质，可以解决多线程系统进行数据处理过程中，涉及有删减的排名分析函数时，数据处理性能较差的问题。

第一方面，本发明实施例提供了一种排名分析函数处理方法，其特征在于，包括：

检测到目标执行计划满足预设排名函数优化条件，将待排名数据随机分发至多线程系统对应的多个线程，其中，所述目标执行计划中包含对应有数据保留项的预设排名函数，所述待排名数据中附带有分组的组别信息；

通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理，得到每个分组分别对应的初始排名数据，并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理，得到初始删减排名数据；

汇总初始删减排名数据，得到中间排名数据，并将所述中间排名数据按照组别信息分发至所述多个线程，以使每个线程收到至少一个分组的所有中间排名数据；

通过所述多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理，得到每个分组分别对应的最终排名数据，并根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理，得到所述目标执行计划对应的执行结果。

第二方面，本发明实施例还提供了排名分析函数处理装置，包括：

待排名数据分发模块，用于在检测到目标执行计划满足预设排名函数优化条件后，将待排名数据随机分发至多线程系统对应的多个线程，其中，所述目标执行计划中包含对应有数据保留项的预设排名函数，所述待排名数据中附带有分组的组别信息；

初始排名数据删减模块，用于通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理，得到每个分组分别对应的初始排名数据，并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理，得到初始删减排名数据；

中间排名数据分发模块，用于汇总初始删减排名数据，得到中间排名数据，并将所述中间排名数据按照组别信息分发至所述多个线程，以使每个线程收到至少一个分组的所有中间排名数据；