[发明专利]一种结构化数据的处理方法和分布式处理系统

权利要求书

1.一种结构化数据的处理方法，其特征在于，包括：

接收客户端发送的第一写请求；

从所述第一写请求中获取第一结构化数据以及所述第一结构化数据对应的写操作类型；

将所述第一结构化数据以及所述第一结构化数据对应的写操作类型存储到写操作队列中的第一索引结构信息中；

根据合并提交策略判断所述写操作队列中存储的所述第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；

若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；

根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一写请求和所述第二写请求合并为一个批量写请求，包括：

从所述第一写请求中提取出所述第一结构化数据，以及从所述第二写请求中提取出所述第二结构化数据；

根据所述第一结构化数据和所述第二结构化数据生成批量写请求；

将所述批量写请求加入到所述写操作队列中，以及删除所述写操作队列中的所述第一写请求和所述第二写请求。

3.根据权利要求1所述的方法，其特征在于，所述根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中之后，所述方法还包括：

获取所述批量写请求对应的批量执行结果；

从所述批量执行结果中分别获取到所述第一结构化数据的存储结果、所述第二结构化数据的存储结果；

向发送所述第一写请求的客户端回复所述第一结构化数据的存储结果，以及向发送所述第二写请求的客户端回复所述第二结构化数据的存储结果。

4.根据权利要求1所述的方法，其特征在于，所述接收客户端发送的第一写请求之后，所述方法还包括：

从所述第一写请求中获取所述第一结构化数据对应的业务标识、列表标识ListKey和行标识SubKey；

将所述第一结构化数据对应的所述业务标识、所述列表标识ListKey和所述行标识SubKey存储到写操作队列中的第一索引结构信息中；

所述将所述第一写请求和所述第二写请求合并为一个批量写请求之后，所述方法还包括：

建立所述第一结构化数据对应的SubKey与第一链路文件描述符的第一映射关系以及所述第二结构化数据对应的SubKey与第二链路文件描述符的第二映射关系；

根据所述第一映射关系和所述第二映射关系生成回包表，并将所述回包表存储到所述批量写请求中。

5.一种分布式处理系统，其特征在于，包括：

接入模块，用于接收客户端发送的第一写请求；

队列存储模块，用于将所述第一写请求加入到写操作队列中，并触发执行判断模块；

判断模块，用于根据合并提交策略判断所述写操作队列中存储的所述第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；

合并模块，用于若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；

提交模块，用于根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中；

所述队列存储模块，包括：

信息提取模块，用于从所述第一写请求中获取第一结构化数据以及所述第一结构化数据对应的写操作类型；

索引创建模块，用于将所述第一结构化数据以及所述第一结构化数据对应的写操作类型存储到所述写操作队列中的第一索引结构信息中。