[发明专利]数据写入方法及装置

权利要求书

1.一种数据写入方法，其特征在于，所述方法包括：

确定从数据源中获取到的待写入数据所分配的数据桶；

将所述待写入数据写入至所述数据桶中；

在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中。

2.根据权利要求1所述的数据写入方法，其特征在于，所述方法还包括：

设定所述待写入数据的写入模式为所述追加模式，所述追加模式为通过HoodieCreateHandle方法将数据写入至所述HDFS中。

3.根据权利要求1所述的数据写入方法，其特征在于，所述将所述待写入数据写入至所述数据桶中包括：

判断内存中是否存在所述数据桶；

若判断出内存中不存在所述数据桶时，在所述内存中创建所述数据桶；

将所述待写入数据写入至所述数据桶中。

4.根据权利要求1所述的数据写入方法，其特征在于，所述在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至所述HDFS中包括：

在所述数据桶中写入的数据量达到预设容量后，通过预设的生产者-消费者-队列模型中的生产者将所述数据桶中的数据写入至队列中，其中，所述队列的容量与所述数据桶的容量相同；

通过所述生产者-消费者-队列模型中的消费者将所述队列中的数据消费出来；

采用追加模式将消费出来的数据写入至所述HDFS中。

5.根据权利要求4所述的数据写入方法，其特征在于，所述在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中的步骤之前，还包括：

关闭所述生产者-消费者-队列模型中的限速模式。

6.根据权利要求1至5任一项所述的数据写入方法，其特征在于，所述方法还包括：

在每一次执行检测点checkpoint操作时，对所述HDFS中的小文件进行纵向合并操作，所述纵向合并操作为对在执行上一次checkpoint操作与当前checkpoint操作之间生成的小文件进行合并操作，所述小文件为文件大小小于预设值的文件。

7.根据权利要求6所述的数据写入方法，其特征在于，所述对所述HDFS中的小文件进行纵向合并操作的步骤之后，还包括：

对所述HDFS中的小文件进行横向合并操作，所述横向合并操作为对执行当前checkpoint操作之前生成的所有小文件进行合并操作。

8.一种数据写入装置，其特征在于，所述数据写入装置包括：

确定模块，用于确定从数据源中获取到的待写入数据所分配的数据桶；

第一写入模块，用于将所述待写入数据写入至所述数据桶中；

第二写入模块，用于在所述数据桶中写入的数据量达到预设容量后，采用追加模式将所述数据桶中的数据写入至分布式文件系统HDFS中。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至7任一项所述数据写入方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现权利要求1至7任一项所述数据写入方法的步骤。