[发明专利]一种结构化数据的处理方法和分布式处理系统

说明书

本发明实施例公开一种结构化数据的处理方法和分布式处理系统，用于提高写请求的处理效率，降低写操作队列的排队时延。该结构化数据的处理方法，包括：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种结构化数据的处理方法和分布式处理系统。

背景技术

随着网络技术的发展，对信息的传递和处理的要求越来越高，能够用数据或统一的结构加以表示的信息，我们称之为结构化数据，如数字、符号。结构化数据有特定的字段，即行数据,存储在数据库里，可以用二维表结构来逻辑表达实现的数据。例如用户使用社交软件发表一条说说，具有发表标识(Identifier，ID)、时间、标题、正文等字段。

现有技术中，在处理结构化数据时通常采用如下方案：客户端向数据处理系统中的逻辑层发送写请求，为了保证原子性，数据处理系统根据列表标识(List Key)将该写请求路由至写操作队列进行排队依次写入存储层，并依次返回客户端请求写入的结果。此时，写入数据的延迟＝存储层处理延迟+排队延迟。现有技术中，数据处理系统在处理结构化数据写入的时候，都是采取排队依次逐个数据写入的方式，在并发量比较大的场景下，会导致很多写请求超时以至于无法写入存储层，造成客户端写入数据失败。

发明内容

本发明实施例提供了一种结构化数据的处理方法和分布式处理系统，用于提高写请求的处理效率，降低写操作队列的排队时延。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种结构化数据的处理方法，包括：

根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；

若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；

根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

第二方面，本发明实施例还提供一种分布式处理系统，包括：

判断模块，用于根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；

合并模块，用于若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；

提交模块，用于根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

从以上技术方案可以看出，本发明实施例具有以下优点：