[发明专利]一种数据合并查询方法、装置、设备和介质

说明书

本发明公开了一种数据合并查询方法、装置、设备和介质，方法包括通过设置在数据湖内的数据中心响应接收到的查询请求信息，从查询请求信息中提取两个列表查询信息，对两个列表查询信息进行代价估计，选取初始查询信息，按照初始查询信息查询数据湖，确定对应的第一数据列表，获取与第一数据列表关联的第二文件表，并筛选得到对应的第二数据列表，合并第一数据列表和第二数据列表，生成合并数据视图和对应的数据描述文件。在自动驾驶系统紧缺的情况下，通过特定的查询和存储方式，在大幅度减少下载时间和数量的同时省略本地排序时间，进而更为有效地提高数据查询效率。

技术领域

本发明涉及数据湖技术领域，尤其涉及一种数据合并查询方法、装置、设备和介质。

背景技术

数据湖作为一种数据存储方式，扁平化地管理海量异构的原始数据，能够支撑对数据中的信息和知识的发现，从而充分挖掘数据中的价值。而大规模数据的快速产生、动态变化、关联复杂的特点，对在数据湖中进行智能有效的检索和分析提出了挑战。

在自动驾驶领域中，由于车辆功能可能同时需要通过多种指标数据进行组合分析其性能，而各项指标数据存在不同文件夹中，现有的数据湖查询方法在查询过程中需要从各个文件夹分别下载各项指标数据到本地后再排序合并。

而上述数据湖查询方案中，需要从各个文件夹分别下载各项指标数据到本地后再排序合并，其在车辆自动驾驶系统资源紧缺的情况下，下载数据量较大且在面对海量数据时本地排序性能消耗较多，进而导致数据查询效率降低。

发明内容

本发明提供了一种数据合并查询方法、装置、设备和介质，解决了现有的数据湖查询方案在车辆自动驾驶系统资源紧缺的情况下，下载数据量较大且在面对海量数据时本地排序性能消耗较多，进而导致数据查询效率降低的技术问题。

本发明第一方面提供的一种数据合并查询方法，应用于数据湖内的数据中心，所述方法包括：

响应接收到的查询请求信息，从所述查询请求信息中提取两个列表查询信息；

对两个所述列表查询信息进行代价估计，选取初始查询信息；

按照所述初始查询信息查询所述数据湖，确定对应的第一数据列表；

获取与所述第一数据列表关联的第二文件表，并筛选得到对应的第二数据列表；

合并所述第一数据列表和所述第二数据列表，生成合并数据视图和对应的数据描述文件。

可选地，所述对两个所述列表查询信息进行代价估计，选取初始查询信息的步骤，包括：

从各个所述列表查询信息分别提取对应的查询文件量和查询列数；

计算所述查询文件量和所述查询列数的乘值，得到查询代价值；

比对各个所述查询代价值，选取最小的查询代价值所属的列表查询信息作为初始查询信息。

可选地，所述按照所述初始查询信息查询所述数据湖，确定对应的第一数据列表的步骤，包括：

从所述初始查询信息提取对应的初始查询列表编号和初始列表过滤条件；

按照所述初始查询列表编号查询所述数据湖，确定对应的目标请求文件表；

按照所述初始列表过滤条件筛选所述目标请求文件表，选取对应的列式存储数据生成第一数据列表。

可选地，所述获取与所述第一数据列表关联的第二文件表，并筛选得到对应的第二数据列表的步骤，包括：

从所述数据湖中获取与所述第一数据列表关联的结果文件表作为第二文件表；

从除所述初始查询信息以外的剩余列表查询信息中提取结果列表过滤条件；