[发明专利]一种基于数据湖的物化列创建方法以及数据查询方法

说明书

本申请公开了一种基于数据湖的物化列创建方法以及数据查询方法，在这些方法中，可以先针对一个数据表创建至少一个物化列，以使这些物化列用于存储那些与该数据表中普通列(例如，类似于“people.age”等高频子列)相关的数据，以便后续当用户触发了针对该普通列的数据查询请求时，可以由该物化列代替该普通列向该用户反馈其所查询的数据，如此能够有效地克服在直接由该普通列向该用户反馈其所查询的数据时所造成的不良影响(例如，浪费IO资源、增加额外计算等)，从而能够有效地提高数据查询效果，进而能够有效地提高针对这些数据表的信息处理效果。

技术领域

本申请涉及信息处理技术领域，尤其涉及一种基于数据湖的物化列创建方法、数据写入方法、数据查询方法、物化列创建装置、数据写入装置、数据查询装置、信息处理系统、电子设备、计算机可读介质以及计算机程序产品。

背景技术

随着信息技术的发展，信息处理的需求越来越多，以使用于实现信息处理的设备也越来越多。为了便于理解，下面结合示例进行说明。

作为示例，在一些应用场景下，可以利用基于联机分析处理(Online AnalyticalProcessing，OLAP)的设备(例如，一些原生OLAP引擎等)实现一些信息处理过程(例如，数据存储、数据查询等信息处理过程)。

然而，因一些基于OLAP的设备存在缺陷，使得这些设备的信息处理效果比较差。

发明内容

为了解决上述技术问题，本申请提供了一种基于数据湖的物化列创建方法、数据写入方法、数据查询方法、物化列创建装置、数据写入装置、数据查询装置、信息处理系统、电子设备、计算机可读介质以及计算机程序产品，能够提高信息处理效果。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供了一种基于数据湖的物化列创建方法，所述方法包括：获取第一用户触发的物化列创建请求；其中，所述物化列创建请求用于请求在第一数据表中创建第一物化列；所述物化列创建请求携带有所述第一物化列的物化表达式；所述物化表达式用于描述所述第一物化列与所述第一数据表中目标列之间的数据关联关系；按照所述物化列创建请求，创建所述第一物化列；其中，所述第一物化列用于代替所述目标列为携带有所述物化表达式的数据查询请求提供数据。

本申请实施例提供了一种基于数据湖的数据写入方法，所述方法包括：获取第二用户触发的第一数据写入请求；其中，所述第一数据写入请求用于请求向第二数据表中写入数据；所述第一数据写入请求携带有针对所述第二数据表的数据列描述信息；在确定所述数据列描述信息满足预设扩展条件，而且确定所述第二数据表中存在至少一个第二物化列时，根据所述至少一个第二物化列的物化表达式，对所述第一数据写入请求进行改写，得到第二数据写入请求；其中，所述第二物化列是利用本申请实施例提供的基于数据湖的物化列创建方法的任一实施方式进行创建的；按照所述第二数据写入请求，对所述第二数据表进行数据写入处理。

本申请实施例提供了一种基于数据湖的数据查询方法，所述方法包括：获取第三用户触发的第一数据查询请求；其中，所述第一数据查询请求用于请求针对第三数据表进行数据查询；在所述第三数据表中存在至少一个第三物化列时，利用所述至少一个第三物化列的物化列描述信息，对所述第一数据查询请求进行改写处理，得到第二数据查询请求；其中，所述第三物化列是利用本申请实施例提供的基于数据湖的物化列创建方法的任一实施方式进行创建的；按照所述第二数据查询请求，对所述第三数据表进行数据查询处理。

本申请实施例提供了一种基于数据湖的物化列创建装置，包括：第一获取单元，用于获取第一用户触发的物化列创建请求；其中，所述物化列创建请求用于请求在第一数据表中创建第一物化列；所述物化列创建请求携带有所述第一物化列的物化表达式；所述物化表达式用于描述所述第一物化列与所述第一数据表中目标列之间的数据关联关系；物化列创建单元，用于按照所述物化列创建请求，创建所述第一物化列；其中，所述第一物化列用于代替所述目标列为携带有所述物化表达式的数据查询请求提供数据。