[发明专利]数据处理、资源分配方法、装置、设备及可读存储介质

说明书

本公开实施例提供数据处理、资源分配方法、装置、设备及可读存储介质。数据处理方法包括：获取分别存储有多个数据的N个输入数据表并按照预设连接顺序对N个输入数据表进行连接，其中，N为大于1的正整数；将N个输入数据表中的M个元素组中的元素转换为具有相同长度的转换值，以获取包括转换值的N个转换表，其中，M为大于1的正整数；对N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于驱动元素的转换值按照预设连接顺序依次对N个输入数据表中驱动表以外的输入数据表的转换表进行并行查询；基于并行查询结果生成输出数据表。本公开的实施例可以通过相同长度的转换值和并行查询提高多表连接查询的效率。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及数据处理、资源分配方法、装置、设备及可读存储介质。

背景技术

在数据库使用场景中，多表连接查询是非常关键且频率极高的一种查询场景。这种查询涉及的数据量大且计算复杂，因此查询时间较长，通常采用离线计算的方式得到查询结果，无法满足实时交互式查询分析的需求。

发明内容

为了解决相关技术中的问题，本公开实施例提供数据处理、资源分配方法、装置、设备及可读存储介质。

第一方面，本公开实施例中提供一种数据处理方法，包括：

获取分别存储有多个数据的N个输入数据表并按照预设连接顺序对所述N个输入数据表进行连接，其中，N为大于1的正整数；

将所述N个输入数据表中的M个元素组中的元素转换为具有相同长度的转换值，以获取包括转换值的N个转换表，其中，M为大于1的正整数；

对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询；

基于并行查询结果生成输出数据表，所述输出数据表包括元素组，所述元素组包括所述驱动元素以及基于所述驱动元素查询到的元素。

结合第一方面，本公开在第一方面的第一种实现方式中，所述对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询，包括：

利用并行执行的多个线程，对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询。

结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述对所述N个输入数据表中的处于预设连接顺序最前端的驱动表中的驱动元素进行并行访问，并基于所述驱动元素的转换值按照所述预设连接顺序依次对所述N个输入数据表中所述驱动表以外的输入数据表的转换表进行并行查询，包括：

以多维数组形式存储并行查询过程的中间结果和最终结果。

结合第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述基于并行查询结果生成输出数据表，包括：

基于所述并行查询过程的最终结果生成输出数据表。

结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第四种实现方式中，所述输出数据表按照所述并行查询结果中所述元素组的出现顺序存储所述元素组。

结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第五种实现方式中，还包括：

检测所述N个输入数据表之间的连接属性是否存在数据偏斜；