[发明专利]一种数据存储方法及装置

说明书

本申请实施例提供了一种数据存储方法，将数据通过交互节点发送至集群，其中，所述交互节点至少包含两个，所述集群包含与所述交互节点对应且数量相等的分片；根据所述交互节点的分布和所述分片的分布，分节点地进行数据存储，以及一种基于所述数据存储方法的数据存储设备，解决了目前基于现有技术方案的数据存储装置，在用户高并发存储和访问情况下，容易出超负载的情况，从而导致机器发热量大，出现宕机以及存在在全局数据检索中数据一致性差、不能保存大量历史数据的技术问题。

技术领域

本申请实施例涉及大数据以及分布式存储等技术领域，尤其涉及一种数据存储方法及装置。

背景技术

随着互联网应用的广泛普及，海量数据的高并发存储和访问成为了应用的瓶颈。一个大型应用每天产生有上亿数据量，用户高并发对数据的读写对系统稳定性造成了极大的问题。为了提高读写效率，目前采用的技术方法包括：

1)对经常需要作为查询的业务表进行分库，分表。

2)对数据进行多从过滤，或者删除历史数据只保留热点数据。

在现有的技术方案中，虽然有的方案能提升对数据库的读写效率，但是数据库系统和应用也需要承受很大的代价，说明如下：

1)对数据库进行分区和分表之后，如果需要在全局的数据中进行检索，仍然要面临数据一致性的问题，如：跨节点Join的问题；跨节点合并排序分页问题；多数据源管理问题。

2)无法保存大量历史数据，失去挖掘数据的价值。

以上基于现有技术方案的数据存储装置，在用户高并发存储和访问情况下，容易出超负载的情况，从而导致机器发热量大，出现宕机以及存在在全局数据检索中数据一致性差、不能保存大量历史数据的技术问题。

发明内容

本申请实施例提供了一种数据存储方法、装置，解决了目前基于现有技术方案的数据存储装置，在用户高并发存储和访问情况下，容易出超负载的情况，从而导致机器发热量大，出现宕机以及存在在全局数据检索中数据一致性差、不能保存大量历史数据的技术问题。

本申请实施例提供了一种数据存储方法，包括：

将数据通过交互节点发送至集群，其中，所述交互节点至少包含两个，所述集群包含与所述交互节点对应且数量相等的分片；

根据所述交互节点的分布和所述分片的分布，分节点地进行数据存储。

根据本发明的一些实施例，所述交互节点为路由节点。

根据本发明的一些实施例，所述分片包含一个主节点、至少一个从节点、一个选举节点；数据通过所述交互节点发送至所述分片后；

由所述主节点进行数据写入；

由所述从节点对所述主节点写入的数据进行同步，并负责数据查询；当存在两个或两个以上所述从节点时，为减轻主节点的io压力，将多于一个的其他从节点设置为延时同步所述主节点写入的数据；

由所述选择节点，对所述主节点状态进行判断，当所述主节点宕机时，唤起一个所述从节点作为新的节点。

根据本发明的一些实施例，所述数据存储方法还包括：

通过若干管理节点对集群元数据进行节点化管理，所述管理节点至少包含一个；以及，

通过所述管理节点记录每个节点以及每个节点之间相互关系、数据库、表的信息，对数据在分片之间迁移的历史记录进行保存。

根据本发明的一些实施例，所述节点化管理具体包括：

数据通过所述交互节点发送至所述分片前，通过所述管理节点将数据分发至不同的分片；