[发明专利]用于处理数据的方法、装置和系统

说明书

本申请实施例公开了用于处理数据的方法、装置和系统。该方法的一具体实施方式包括：响应于接收到待处理的键值对数据，根据键确定键值对数据的分片编号。根据分片编号从预设的分片树中确定目标分片编号，其中，分片树为二叉树结构，节点表征至少一个分片编号，节点与存储目录相对应。将键值对数据推送到目标分片编号对应的第二端，以供第二端将键值对数据写入第二端对应的存储目录。该实施方式提高了数据处理效率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于处理数据的系统、方法和装置。

背景技术

如今的互联网技术不断发展，数据成爆炸式增长，网络上数据规模急剧增加，混乱的数据中蕴藏着巨大的商机，可以从海量的数据中提取价值。但随之而来的问题是单机的数据处理能力无法满足当今海量数据应用的处理要求，基于大规模计算集群的分布式计算成为未来数据性能提升的主要途径。

发明内容

本申请实施例提出了用于处理数据的方法和装置。

第一方面，本申请实施例提供了一种用于处理数据的方法，包括：响应于接收到待处理的键值对数据，根据键确定用于处理数据的键值对数据的分片编号；根据用于处理数据的分片编号从预设的分片树中确定目标分片编号，其中，用于处理数据的分片树为二叉树结构，节点表征至少一个分片编号，节点与存储目录相对应；将用于处理数据的键值对数据推送到用于处理数据的目标分片编号对应的第二端。

在一些实施例中，用于处理数据的方法还包括：响应于确定出用于处理数据的键值对数据的分片编号对应的叶子节点已经从用于处理数据的分片树中删除，将已经删除的叶子节点的父节点对应的至少一个分片编号中最小的分片编号确定为目标分片编号。

第二方面，本申请实施例提供了一种用于处理数据的装置，包括：接收单元，被配置成响应于接收到待处理的键值对数据，根据键确定用于处理数据的键值对数据的分片编号；确定单元，被配置成根据用于处理数据的分片编号从预设的分片树中确定目标分片编号，其中，用于处理数据的分片树为二叉树结构，节点表征至少一个分片编号，节点与存储目录相对应；推送单元，被配置成将用于处理数据的键值对数据推送到用于处理数据的目标分片编号对应的第二端。

在一些实施例中，用于处理数据的确定单元进一步被配置成：响应于确定出用于处理数据的键值对数据的分片编号对应的叶子节点已经从用于处理数据的分片树中删除，将已经删除的叶子节点的父节点对应的至少一个分片编号中最小的分片编号确定为目标分片编号。

第三方面，本申请实施例提供了一种用于处理数据的系统，包括至少一个第一端，至少一个第二端，至少一个第三端：至少一个第一端，被配置成响应于接收到待处理的键值对数据，根据键确定用于处理数据的键值对数据的分片编号；根据用于处理数据的分片编号从预设的分片树中确定目标分片编号，其中，用于处理数据的分片树为二叉树结构，节点表征至少一个分片编号，节点与存储目录相对应；将用于处理数据的键值对数据推送到用于处理数据的目标分片编号对应的第二端；至少一个第二端，被配置成响应于接收到用于处理数据的键值对数据，将用于处理数据的键值对数据写入该第二端对应的存储目录；至少一个第三端，被配置成根据用于处理数据的分片树中该第三端对应的叶子节点到根节点的最短路径，依次读取用于处理数据的最短路径上的节点对应的存储目录中的键值对数据。

在一些实施例中，用于处理数据的系统还包括管理端，被配置成：根据至少一个第二端的数量构造平衡二叉树作为分片树。

在一些实施例中，管理端进一步被配置成：获取预定时间内各第二端收到的文件的大小的平均值；对于至少一个第二端中的第二端，若该第二端收到的文件的大小的平均值小于预定阈值，删除用于处理数据的分片树中该第二端对应的叶子节点。

在一些实施例中，至少一个第一端，进一步被配置成：响应于确定出用于处理数据的键值对数据的分片编号对应的叶子节点已经从用于处理数据的分片树中删除，将已经删除的叶子节点的父节点对应的至少一个分片编号中最小的分片编号确定为目标分片编号。