[发明专利]数据写入方法及装置

说明书

本申请实施例提供了一种数据写入方法，方法包括：确定从数据源中获取到的待写入数据所分配的数据桶；将所述待写入数据写入至所述数据桶中；在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中。本申请可以降低IO读写性能的消耗。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据写入方法及装置。

背景技术

随着网络技术的飞速发展，为了解决数据共享和数据信息孤岛的问题，许多企业和团体通过将各种应用系统收集到的各种类型的数据写入至数据湖(HUDI)中。

然而，发明人发现，在现有技术中，在将数据写入至HUDI中，采用的是文件滚动合并的方式进行数据的写入，具体而言，在当前将文件A写入至HUDI中后，若再次需要将文件B写入至HUDI中，则需要先将文件B读取出来，之后再将文件A和文件B写入至HUDI中，以此类推，当需要再将文件C写入至HUDI中时，则需要先读取出文件A和文件B，之后，才会将文件A、文件B和文件C写入至HUDI中。现有技术中，由于采用文件滚动合并的方式进行数据的写入，导致需要消耗非常大的IO读写性能。

发明内容

本申请实施例的目的是提供一种数据写入方法、装置、计算机设备及计算机可读存储介质，可以用于解决在将文件写入至HUDI中时，需要消耗非常大的IO读写性能的问题。

本申请实施例的一个方面提供了一种数据写入方法，，所述方法包括：

确定从数据源中获取到的待写入数据所分配的数据桶；

将所述待写入数据写入至所述数据桶中；

在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中。

可选地，设定所述待写入数据的写入模式为所述追加模式，所述追加模式为通过HoodieCreateHandle方法将数据写入至所述HDFS中。

可选地，所述将所述待写入数据写入至所述数据桶中包括：

判断内存中是否存在所述数据桶；

若判断出内存中不存在所述数据桶时，在所述内存中创建所述数据桶；

将所述待写入数据写入至所述数据桶中。

可选地，所述在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至所述HDFS中包括：

在所述数据桶中写入的数据量达到预设容量后，通过预设的生产者-消费者-队列模型中的生产者将所述数据桶中的数据写入至队列中，其中，所述队列的容量与所述数据桶的容量相同；

通过所述生产者-消费者-队列模型中的消费者将所述队列中的数据消费出来；

采用追加模式将消费出来的数据写入至所述HDFS中。

可选地，所述在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中的步骤之前，还包括：

关闭所述生产者-消费者-队列模型中的限速模式。

可选地，所述方法还包括：

在每一次执行检测点checkpoint操作时，对所述HDFS中的小文件进行纵向合并操作，所述纵向合并操作为对在执行上一次checkpoint操作与当前checkpoint操作之间生成的小文件进行合并操作，所述小文件为文件大小小于预设值的文件。

可选地，所述对所述HDFS中的小文件进行纵向合并操作的步骤之后，还包括：