[发明专利]一种分布式键-值查询方法和查询引擎系统

说明书

本申请提供了一种分布式键‑值查询引擎系统和查询方法，该系统包括：元数据服务器、至少一个代理节点和至少一个存储节点；其中，所述元数据服务器，用于维护指向存储节点的全局路由表信息；所述代理节点包括：查询转发模块，用于响应客户端发出的包括目标KEY的请求，基于所述全局路由表信息，将客户端请求转发给相应的存储节点；数据转发模块，用于将相应存储节点返回的包括目标Value的回应包传送给客户端；所述存储节点，用于基于接收到的客户端请求，从本地存储中获取所需数据，并发送包括目标Value的回应包给代理节点。本发明能够实现键‑值数据的分布式存储和查询，并且能够容纳海量键‑值数据，对高并发访问的适应性更强。

本发明专利申请是申请日为2011年12月31日、申请号为201110460494.8、名称为“一种分布式键-值查询方法和查询引擎系统”的中国发明专利申请的分案申请。

技术领域

本申请涉及分布式数据存储和查询技术领域，特别是涉及一种分布式键-值查询方法和查询引擎系统。

背景技术

对于大规模互联网应用、云计算的支撑而言，一般会使用关系型数据库存储相关数据。

传统的关系型数据库，通常将某一个应用的某一类信息(例如网站用户信息)都存储在数据库系统的单个库单张表中，对应用程序提供读取和写入操作的通讯接口。实现上，典型的关系型数据库如MySQL，单表的查询和写入操作有一定上限，超过这个上限，SQL查询和写入操作将会变得非常缓慢，磁盘输入/输出(IO)模块也会出现瓶颈。在互联网海量数据的今天，传统关系型数据库要承载海量数据，通常的做法就是将数据分成多个库多个表存储，例如网站用户信息数据，可以按取模算法对用户标识(user_id)字段计算哈希(hash)值，将不同的用户数据分片到不同数据库，以此来解决单库单表的存储和读写压力问题。

也就是说，传统的关系型数据库，为支持大容量数据，需要将数据水平拆分到多个库多张表上，确保单张表的记录数是有限的。这样的好处在于减小了索引文件的大小，从而提升查询性能。

但是，传统的关系型数据库，倾向于使用单台机器来解决存储容量的问题。若要扩容到多台机器，需要在应用层做数据拆分策略。这里存在两个问题，一个是对于每个应用，都需要应用层做数据拆分，且每个应用拆分策略都会有不同，效率低；另一个问题是增加机器后的数据重新拆分代价很高，需要人工停机维护操作，不支持自动弹性扩展。

其次，传统的关系型数据库，单台机器的并发能力有一定上限，高并发的访问会将机器资源耗尽。不能支持高并发访问的原因之一是关系型数据库在检索时需要做SQL解析操作，对CPU资源的开销大。

总之，目前需要本领域技术人员迫切解决的一个技术问题是：如何能够提供一种能够容纳海量数据、适应高并发访问的更加优化的存储/查询方案。

发明内容

本申请所要解决的技术问题是提供一种分布式键-值查询方法和查询引擎系统，能够容纳海量键-值数据，对高并发访问的适应性更强。

为了解决上述问题，本申请公开了一种分布式键-值查询引擎系统，具体可以包括：

元数据服务器，用于维护指向存储节点的全局路由表信息；

至少一个代理节点，包括：

查询转发模块，用于响应客户端发出的包括目标KEY的请求，基于所述全局路由表信息，将客户端请求转发给相应的存储节点；

数据转发模块，用于将相应存储节点返回的包括目标Value的回应包传送给客户端；

至少一个存储节点，用于基于接收到的客户端请求，从本地存储中获取所需数据，并发送包括目标Value的回应包给代理节点。