[发明专利]数据处理、资源分配方法、装置、设备及可读存储介质

权利要求书

1.一种数据处理方法，包括：

获取分别存储有多个数据的N个输入数据表并按照预设连接顺序对所述N个输入数据表进行连接，其中，N为大于1的正整数；

将所述N个输入数据表中的M个元素组中的元素转换为具有相同长度的转换值，以获取包括转换值的N个转换表，其中，M为大于1的正整数；

对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询；

基于并行查询结果生成输出数据表，所述输出数据表包括元素组，所述元素组包括所述驱动元素以及基于所述驱动元素查询到的元素。

2.根据权利要求1所述的方法，所述对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询，包括：

利用并行执行的多个线程，对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询。

3.根据权利要求1或2所述的方法，所述对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询，包括：

以多维数组形式存储并行查询过程的中间结果和最终结果。

4.根据权利要求3所述的方法，所述基于并行查询结果生成输出数据表，包括：

基于所述并行查询过程的最终结果生成输出数据表。

5.根据权利要求1或2所述的方法，所述输出数据表按照所述并行查询结果中所述元素组的出现顺序存储所述元素组。

6.根据权利要求1或2所述的方法，还包括：

检测所述N个输入数据表之间的连接属性是否存在数据偏斜；

基于检测到数据偏斜，在所述输出数据表中统计出现频率高于预设阈值的元素作为高频元素；

将与所述高频元素相关的信息存储到高频元素查找表。

7.根据权利要求6所述的方法，所述与所述高频元素相关的信息包括以下至少之一：所述高频元素在输入数据表中所属的项、所述高频元素的值、所述高频元素在输出数据表中首次出现时的序号、包括与所述高频元素在输出数据表中首次出现时所在的元素组中从第一特定驱动元素至所述高频元素的查询路径相同的第一查询路径的元素组的数量。

8.根据权利要求7所述的方法，所述基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询，包括：

响应于从不同于所述第一查询路径的第二查询路径对所述高频元素的重复访问，基于所述高频元素查找表所存储的与所述高频元素相关的信息获取所述第二查询路径中所述高频元素之后的元素的查询结果。

9.根据权利要求1或2所述的方法，还包括：

在所述并行查询操作结束之前，基于一部分并行查询结果确定与所述部分并行查询结果相关的第一存储资源；

基于所述部分并行查询结果和所述第一存储资源估计所述并行查询操作结束时所估计的第一输出数据表所需的第二存储资源。

10.根据权利要求9所述的方法，还包括：

响应于并行查询操作结束时的输出数据表所需的第三存储资源大于所述第二存储资源，将无法写入占用所述第二存储资源的第一输出数据表的元素写入第二输出数据表；

将所述第一输出数据表和所述第二输出数据表合并为所述输出数据表。