[发明专利]数据流存储方法、装置以及计算机存储介质

说明书

一种数据流存储方法、装置以及计算机存储介质，所述方法包括：获取数据流；确定数据流中的数据的关键字；根据数据的关键字将数据分配分区；对各个区内的数据进行存储。采用上述方案，可以避免出现由于处理不及时而导致数据丢失的情况，在数据存储出现故障时，易于根据数据的关键字定位数据的分区，进而对相应的数据进行恢复。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据流存储方法、装置以及计算机存储介质。

背景技术

在数据处理中，存在一种由持续大量产生的多组数据组成的数据流，所述数据流持续带来数据。如果不对数据流中的数据进行及时的处理或者存储，数据将会丢失。

现有技术中，对上述数据流进行处理的方案是直接将数据流中的数据进行存储。

然而，采用上述方案，当数据出现存储故障时，由于数据流的数据量过大，难以确定数据存储的位置，进而影响数据恢复。

发明内容

本发明解决的技术问题是数据恢复困难。

为解决上述技术问题，本发明实施例提供一种数据流存储方法，包括：获取数据流；确定数据流中的数据的关键字；根据所述数据的关键字将数据分配分区；对各个分区内的数据进行存储。

可选的，通过Kafka获取多条数据组成的数据流。

可选的，使用Hash算法计算各条数据的关键字。

可选的，根据预设的分区的数量，使用Hash取模算法，通过所述数据的关键字计算所述数据对应的分区序号。

可选的，对各个分区内的数据进行序列化；存储序列化后的数据。

可选的，对各个分区内的数据进行快照存储。

本发明还提供一种数据流存储装置，包括：获取单元，用于获取数据流；确定单元，用于确定数据流中的数据的关键字；分配单元，用于根据所述数据的关键字将数据分配分区；存储单元，用于对各个分区内的数据进行存储。

可选的，所述获取单元，还用于通过Kafka获取多条数据组成的数据流。

可选的，所述确定单元，还用于使用Hash算法计算各条数据的关键字。

可选的，所述分配单元，还用于根据预设的分区的数量，使用Hash取模算法，通过所述数据的关键字计算所述数据对应的分区序号。

可选的，所述存储单元，还用于对各个分区内的数据进行序列化；存储序列化后的数据。

可选的，所述存储单元，还用于对各个分区内的数据进行快照存储。

本发明还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，所述计算机指令运行时执行上述任一种的数据流存储方法的步骤。

本发明还提供一种数据流存储装置，包括存储器和处理器，所述存储器上存储有计算机指令，所述计算机指令运行时所述处理器执行上述任一种的数据流存储方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

通过获取数据流；确定数据流中的数据的关键字；根据数据的关键字将数据分配分区；对各个区内的数据进行存储。采用上述方案，可以避免出现由于处理不及时而导致数据丢失的情况，在数据存储出现故障时，易于根据数据的关键字定位数据的分区，进而对相应的数据进行恢复。

附图说明

图1是本发明实施例提供的数据流存储方法的流程示意图；

图2是本发明实施例提供的数据流存储装置的结构示意图。

具体实施方式