[发明专利]一种基于数据湖的时间线获取方法、装置、执行节点

说明书

本申请公开了一种基于数据湖的时间线获取方法、装置、执行节点、电子设备、计算机可读介质、计算机程序产品，该方法包括：在该执行节点确定达到时间线拉取条件时，先由该执行节点创建第一元数据客户端，并在该第一元数据客户端中创建时间线视图；再由该执行节点利用该时间线视图从管理节点的内置元数据服务中获取待使用时间线，以使该待使用时间线能够表示出该管理节点中的至少一个事务，以便后续该执行节点能够从该待使用时间线中获知需要由其执行的事务，如此能够实现借助该执行节点辅助该管理节点实现写入任务的目的，从而能够有效地提高借助该执行节点辅助管理节点所实现的写入任务的执行效果。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于数据湖的时间线获取方法、装置、执行节点、电子设备、计算机可读介质、计算机程序产品。

背景技术

数据湖(DataLake)是指使用大型二进制对象或者文件格式存储数据的系统；而且数据湖被用于统一存储数据。

数据湖框架(Apache Hudi，简称Hudi)是一个流式数据湖平台；而且Hudi可以通过多种工具(例如，Spark、Flink等)接入大量数据(例如，关系型数据库、日志、消息队列的数据等)进行数据存储。

然而，因一些Hudi方案(例如，基于Flink的hudi等)存在缺陷，导致利用这些Hudi方案实现的写入任务的执行效果比较差。

发明内容

为了解决上述技术问题，本申请提供了一种基于数据湖的时间线获取方法、装置、执行节点、电子设备、计算机可读介质、计算机程序产品，能够有效地提高写入任务的执行效果。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供一种基于数据湖的时间线获取方法，应用于基于数据湖的执行节点，所述方法包括：

在达到时间线拉取条件时，创建第一元数据客户端，并在所述第一元数据客户端中创建时间线视图；

利用所述时间线视图从管理节点的内置元数据服务中获取待使用时间线；其中，所述内置元数据服务中存储有所述待使用时间线；所述待使用时间线用于记录所述管理节点中的至少一个事务。

在一种可能的实施方式中，所述至少一个事务包括至少一个处于未完成状态的事务。

在一种可能的实施方式中，所述内置元数据服务用于存储所述管理节点中实时的时间线。

在一种可能的实施方式中，所述待使用时间线的更新过程，包括：

在达到时间线更新条件时，所述管理节点创建第二元数据客户端；

所述管理节点利用所述第二元数据客户端从元数据系统中拉取元数据时间线；

所述管理节点利用所述元数据时间线，更新所述内置元数据服务中存储的所述待使用时间线。

在一种可能的实施方式中，所述方法还包括：

在所述待使用时间线表示待处理事务已创建时，执行所述待处理事务。

本申请实施例还提供了一种基于数据湖的时间线获取装置，包括：

创建单元，用于在达到时间线拉取条件时，创建第一元数据客户端，并在所述第一元数据客户端中创建时间线视图；

获取单元，用于利用所述时间线视图从管理节点的内置元数据服务中获取待使用时间线；其中，所述内置元数据服务中存储有所述待使用时间线；所述待使用时间线用于记录所述管理节点中的至少一个事务。

本申请实施例还提供了一种基于数据湖的执行节点，所述执行节点，用于在达到时间线拉取条件时，创建第一元数据客户端，并在所述第一元数据客户端中创建时间线视图；