[发明专利]数据更新方法、分发节点及海量存储集群系统

说明书

技术领域

本发明涉及一种数据存储技术，尤其涉及一种数据更新方法、分发节点及海量存储集群系统。

背景技术

在现有的各种实时系统中对海量数据实现实时查询和同步更新是比较困难的，目前常见的策略通过提升单机硬件性能来提高数据承载量，或者通过把数据按照使用方式不同来划分存储单元。

现有技术中存在以下缺陷：

1、由于多线程的同时更新，系统需要选择一条更新线程而锁住其他更新线程，在处理更新时存在随机I/O操作，导致整体效率提升困难，大部分效率损失在I/O锁竞争和更新线程调度。

2、查询和更新使用相同的线程，导致权限模糊，数据流向不确定，如果查询或更新出现问题，会影响到整个系统。

3、为了保障数据的安全性很多系统采用多副本方式，就是说一个副本在2台或者3个数据节点中保存，进而提高数据安全性，这种方式看似安全其实存在数据安全隐患，当系统代码出现bug时可能使多个数据副本写坏或者丢失；还有当数据同步时如果采用A通知B，B通知C这种逐个通知的更新方式，会使更新不及时，每个节点都是更新同步的关键节点，各个节点间数据容易不一致。

4、随着数据规模的增长过分依赖某个数据中心节点，导致中心节点压力过大，性能降低，系统横向扩展困难。

5、很多业务系统都要求每周7*24小时不间断服务，在小数据量时可以通过几台冗余服务器来保障，但是在海量数据的情况下就要考虑整个系统中每个分发节点离线所带来的影响，而且当机器规模达到一定程度后，比如一千台机器，那么每周、甚至每天可能都会有机器损坏，对系统的正常运行影响较大。

发明内容

本发明的目的在于，提供一种数据更新方法、分发节点及海量存储集群系统，在保持数据下发效率的同时，避免了多线程同时更新的锁问题，提高了系统整体处理效率。

为实现上述目的，根据本发明的一个方面，提供一种数据更新方法，包括：

通过一个更新线程接收所述更新命令；

通过多个读取线程读取所述更新命令，并根据所述更新命令将数据分别下发到相应的数据节点。

为实现上述目的，根据本发明的另一个方面，提供一种分发节点，包括：

命令控制模块，用于通过一个更新线程接接收管理装置发送的更新命令；

下发模块，用于通过多个读取线程从所述命令控制模块读取所述更新命令，并根据所述更新命令将数据分别下发到相应的数据节点。

为实现上述目的，根据本发明的另一个方面，提供一种海量存储集群系统，包括：管理装置、采用树状结构组织的分发节点和数据节点，

所述分发节点，用于通过一个更新线程接收所述更新命令；并通过多个读取线程读取所述更新命令，并根据所述更新命令将数据分别下发到相应的数据节点。

本发明的数据更新方法、分发节点及海量存储集群系统，仅通过一个更新线程接收更新命令，避免了现有技术中多线程同时更新的锁问题，提高了系统整体处理效率；同时设置多个读取线程读取更新命令，同时对多个更新命令进行数据下发，提高了数据下发的效率。

优选地，分发节点还包括：查询模块，用于根据所述管理装置发送的查询命令通过一个或多个查询线程对其他分发节点和/或数据节点进行查询。查询和更新使用不同的线程，使得数据流向清晰，查询、更新权限明晰，查询端或者更新端出现问题不会影响到整个系统。

更优地，分发节点中的下发模块还判断是否接收到所述数据节点发送的更新数据成功信息，如果没有接收到，则发送数据不成功，下发模块重复发送数据到数据节点。这样可以保证各个节点数据的一致性，不会因为下端数据模块出现处理故障而数据丢失。

另外，在海量存储集群系统中，分发节点可以包括多个层级，不同层级的分发节点之间交叉相连，逐级下发或查询数据；管理装置中存储还存储各个层级分发节点之间的层次关系及数据下发命令表，根据层次关系及数据下发命令表控制不同层级的分发节点逐级分发数据或查询数据。最上层的分发节点可以接收数据的更新或者查询，根据规则可以迅速的逐级找到下级节点中的数据，实现数据的实时查询和同步更新。

进一步的，每个分发节点还有对应的冗余节点，冗余节点，存储与分发节点相同的数据，执行与分发节点相同的操作。各层级分发节点(包括冗余节点)之间交叉相连，任何节点损坏都不会影响系统正常运转。可以根据需要随意增加分发节点的层级或某个分发节点的冗余节点，便于系统的横向及纵向扩展。另外数据节点也可以根据实际需要随意增加。降低了各个节点的负载压力，提高了各个节点的工作性能。

附图说明