[发明专利]数据处理方法、装置、电子设备、存储介质及程序产品

说明书

本发明实施例公开了一种数据处理方法、装置、电子设备、存储介质及程序产品，基于共享内存能够进行进程级别的数据处理，有利于提高数据处理效率，通过多个形成序列化结构的缓存单元来进行数据处理，利用游标快速地定位数据的存储位置，从而减少数据的编码和解码操作，有利于提高数据处理效率，并且，根据缓存单元的存储空闲状态来进行数据的写入，可以提高数据写入的成功率以及缓存单元的空间利用率，上述数据处理方法可以广泛应用于数据处理、数据库、云计算等技术领域。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、电子设备、存储介质及程序产品。

背景技术

随着互联网技术的发展，各种应用程序的使用者的数量变得越来越多，因此，目前各种应用程序在运行或者维护时均需要对海量的数据进行处理。在相关技术中，可以采用分桶的方式来处理数据，然而，基于分桶的方式处理数据，需要反复在结构化数据和字节数组之间来回转换数据的结构，相应地需要对数据进行编码和解码，从而降低了数据处理效率。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种数据处理方法、装置、电子设备、存储介质及程序产品，通过多个形成序列化结构的缓存单元对数据进行处理，可以减少数据的编码和解码操作，有利于提高数据处理效率。

一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据；

在共享内存区中确定目标缓存块，所述目标缓存块中设置有多个形成序列化结构的缓存单元，每个所述缓存单元配置有对应的位置标识；

确定所述待处理数据在所述目标缓存块中对应的第一游标和第二游标；

根据所述位置标识和所述第一游标的匹配关系从多个所述缓存单元中确定第一缓存单元，根据所述位置标识和所述第二游标的匹配关系从多个所述缓存单元中确定第二缓存单元；

确定所述第一缓存单元和所述第二缓存单元的存储空闲状态，根据所述存储空闲状态从所述第一缓存单元和所述第二缓存单元中确定目标缓存单元，将所述待处理数据写入所述目标缓存单元中。

另一方面，本发明实施例还提供了一种数据处理方法，包括：

获取待处理数据；

在共享内存区中确定目标缓存块，所述目标缓存块中设置有多个形成序列化结构的缓存单元，每个所述缓存单元配置有对应的位置标识；

确定所述待处理数据在所述目标缓存块中对应的第一游标和第二游标；

根据所述位置标识和所述第一游标的匹配关系从多个所述缓存单元中确定第一缓存单元，根据所述位置标识和所述第二游标的匹配关系从多个所述缓存单元中确定第二缓存单元；

从所述第一缓存单元中获取第一参考数据，从所述第二缓存单元中获取第二参考数据，将所述待处理数据与第一参考数据、所述第二参考数据进行比对，当所述待处理数据与所述第一参考数据、所述第二参考数据中的任意一个相匹配，剔除所述待处理数据。

另一方面，本发明实施例还提供了一种数据处理装置，包括：

第一数据获取模块，用于获取待处理数据；

第一缓存块确定模块，用于在共享内存区中确定目标缓存块，所述目标缓存块中设置有多个形成序列化结构的缓存单元，每个所述缓存单元配置有对应的位置标识；

第一游标确定模块，用于确定所述待处理数据在所述目标缓存块中对应的第一游标和第二游标；