[发明专利]流式数据的处理方法、装置、电子设备及存储介质

说明书

本申请提供了一种流式数据的处理方法、装置、电子设备及存储介质，应用于计算机技术领域。该方法包括：在第一检查点到来时，检测存储系统中的第一存储空间中存储的流式数据的数据量。当第一存储空间中存储的流式数据的数据量小于数据量阈值时，将第一存储空间中存储的流式数据复制至存储系统的第二存储空间中。更新所述第一存储空间的状态为可读状态。本方法无需人工操作就能实现存储空间合并，从而减少存储系统在流式数据写入过程中产生的小文件的数量，进而提高了存储系统的性能。

技术领域

本申请涉及计算机技术领域，尤其涉及一种流式数据的处理方法、装置、电子设备及存储介质。

背景技术

游戏日志即游戏记录，用于记录游戏进行过程中游戏系统的运行信息。当游戏日志产生后，会暂存在用于处理流数据的kafka队列中。然后处理引擎Flink会周期性的读取kafka队列的游戏日志，并将一个周期内读取到的全部游戏日志写入到分布式文件系统(HadoopDistributedFile System，HDFS的一个文件中，以供下游应用(例如Hive数据库等)查询。

Flink在向HDFS的文件写入游戏日志时，该文件的文件状态为下游工具不可见。而当一个周期结束后，文件的文件状态会在该周期的结束时刻(检查点)被更新为下游可见。因此，为了保证下游工具读取游戏日志的及时性，就需要为HDFS设置较短的周期。但是周期较短会造成每个文件写入的数据量较少，很可能产生大量的数据量较少的“小文件”。

由于每个文件均需要占用一个插槽slot，且HDFS需要为每个文件设置接口，因此大量的“小文件”将会严重浪费HDFS资源，影响HDFS性能。并且下游工具在读取数据时，也需要不断的从一个文件跳到下一个文件，严重影响下游工具的读取效率。因此，如何合并HDFS中的“小文件”以减少HDFS中的“小文件”数量，成为亟需解决的问题。

发明内容

有鉴于此，本申请提供了一种流式数据的处理方法、装置、电子设备及存储介质，以此解决现有技术中，分布式文件系统HDFS在数据写入过程中，因检查点机制产生过多的小文件而造成HDFS性能差的问题。

本申请实施例第一方面提供了一种流式数据的处理方法，该方法包括：

通过流式处理引擎处理流式数据，根据流式处理引擎的检查点时间间隔将处理后的流式数据写入存储系统中；其中，不同检查点时间间隔内写入的流式数据存储在存储系统的不同存储空间中；

在第一检查点到来时，检测存储系统中的第一存储空间中存储的流式数据的数据量；其中，第一存储空间用于存储第一检查点时间间隔内处理引擎写入的流式数据，第一检查点为第一检查点时间间隔的结束时刻；

当第一存储空间中存储的流式数据的数据量小于数据量阈值时，将第一存储空间中存储的流式数据复制至存储系统的第二存储空间中；第二存储空间用于存储第二检查点时间间隔内流式处理引擎写入的流式数据，第二检查点时间间隔是和第一检查点时间间隔相邻的下一检查点时间间隔；

更新第一存储空间的状态为可读状态。

本申请实施例第二方面提供了一种流式处理引擎，该流式处理引擎处理流式数据，根据流式处理引擎的检查点时间间隔将处理后的流式数据写入存储系统中；其中，不同检查点时间间隔内写入的流式数据存储在存储系统的不同存储空间中；该流式处理引擎包括：

检测单元，用于在第一检查点到来时，检测存储系统中的第一存储空间中存储的流式数据的数据量；其中，第一存储空间用于存储第一检查点时间间隔内流式处理引擎写入的流式数据，第一检查点为第一检查点时间间隔的结束时刻；

处理单元，用于当第一存储空间中存储的流式数据的数据量小于数据量阈值时，将第一存储空间中存储的流式数据复制至存储系统的第二存储空间中；第二存储空间用于存储第二检查点时间间隔内流式处理引擎写入的流式数据，第二检查点时间间隔是与第一检查点时间间隔相邻的下一检查点时间间隔；