[发明专利]流式计算系统的数据处理方法及装置、电子设备和介质

说明书

本公开提供了一种流式计算系统的数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及数据处理领域，尤其涉及流式计算、数据存储技术领域。实现方案为：获取第一数据流分片中的原始数据经处理后所得到的结果数据；确定结果数据的数据类型，其中数据类型包括随机读写类型和顺序读写类型；以及通过原子性写操作将确定的随机读写类型的数据以第一数据块的形式写入存储系统的第一存储区域以及将确定的顺序读写类型的数据以第二数据块的形式写入存储系统的第二存储区域。第一数据块包括指向同一原子性写操作所对应的第二数据块的指针。

技术领域

本公开涉及数据处理领域，尤其涉及流式计算、数据存储技术领域，具体涉及一种流式计算系统的数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做查询，得到答案或进行相关的处理。但是，传统的数据处理流程在一些实时搜索应用环境中并不能很好地解决问题。由此，产生了一种新的数据计算结构——流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。而在计算过程中，流式计算系统不断产生数据进行实时处理，需要及时处理已完成处理的数据以避免造成数据的堆积和丢失。

发明内容

本公开提供了一种流式计算系统的数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种流式计算系统的数据处理方法，包括：获取第一数据流分片中的原始数据经处理后所得到的结果数据；确定所述结果数据的数据类型，其中所述数据类型包括随机读写类型和顺序读写类型；以及通过原子性写操作将所述确定的随机读写类型的数据以第一数据块的形式写入存储系统的第一存储区域以及将所述确定的顺序读写类型的数据以第二数据块的形式写入所述存储系统的第二存储区域。所述第一数据块包括指向同一原子性写操作所对应的所述第二数据块的指针。

根据本公开的另一方面，提供了一种流式计算系统的数据处理装置，包括：获取单元，配置为获取第一数据流分片中的原始数据经处理后所得到的结果数据；确定单元，配置为确定所述结果数据的数据类型，其中所述数据类型包括随机读写类型和顺序读写类型；以及存储单元，配置为通过原子性写操作将所述确定的随机读写类型的数据以第一数据块的形式写入存储系统的第一存储区域以及将所述确定的顺序读写类型的数据以第二数据块的形式写入所述存储系统的第二存储区域。所述第一数据块包括指向同一原子性写操作所对应的所述第二数据块的指针。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所述的方法。

根据本公开的一个或多个实施例，将随机读写类型和顺序读写类型的数据进行分类存储，既通过原子性写操作保证了数据一致性的持久化方案，又大幅降低了流式计算系统的存储成本。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。