[发明专利]一种基于Memcached的大数据缓存交互式查询方法

说明书

技术领域

本发明涉及大数据、数据库技术领域，尤其涉及一种基于Memcached的大数据缓存交互式查询方法。

背景技术

随着网络的发展和普及，应用生产和需要处理的数据量越来越大。数据的爆炸式增长，使得现在数据库系统的工作负载日益增大，不断增长的数据量要求越来越多的应用程序能够扩展到更大的集群里去计算，因此大数据分布式计算是处理海量数据的必由之路。

在信息技术高速发展的今天，各种大数据处理和分析工具及框架应运而生，其中典型的处理框架如Hadoop、Spark、Storm等。以伯克利大学推出的Apache Spark为例，它是目前非常强大的分布式计算框架。Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算，在某种程度上是对MapReduce模型的一种扩展。Spark解决了MapReduce不擅长的计算工作，比如迭代式、交互式和流式。虽然Spark在操作大数据集上很有优势，但是它仍然需要数据的持久化存储，HDFS是比较通用的选择，其和Spark结合使用，然而它基于磁盘的特点，导致在实时应用程序中会影响性能。

参与大数据计算的数据来自流、内存以及磁盘，后者包括关系数据库管理系统(RDBMS)、HBase数据库、MongoDB数据库以及HDFS文件系统。在大数据处理框架中，待处理的数据格式需要满足诸如可分块、不可修改等规范，因此，人们定义了类似于RDD(Resilient Distributed Datasets，弹性分布式数据集)以及HiveQL、Spark SQL等类SQL的接口，并且针对常用的数据源提供了相应的驱动程序。如：借助于Apache Spark的Spark SQL组件，可以将HBase、MongoDB、HDFS文件系统等存储映射成数据库表，并提供高效的SQL查询能力。

HBase、MongoDB、HDFS文件系统将数据存储在磁盘中，尽管它们采用了cache结构，但仍具有较大的读写延迟。在大数据应用场景中，为了实现更高效的数据访问性能，很多高频数据(如：热门商品、实时统计变量等)往往需要借助于Memcached这一类缓存系统进行存储。Memcached是以LiveJournal公司里的Brad Fitzpatric为首开发的一款软件，是一套分布式的高速缓存系统，由于它基于内存缓存的特性，使得在应用中有比较高的性能与可扩展性。由于Memcached与HBase、关系型数据库等系统采用了不同的存储模型即Key-Value模型，因此需要针对Memcached开发支持大数据计算框架的SQL查询驱动。

另一方面，现有的应用程序，只能通过API方式调用Memcached服务(这些API往往对应着Memcached协议的不同命令，https://github.com/memcached/memcached/wiki/Commands)，这种API的使用方式缺乏与大数据处理框架的集成能力。以一个weblog(Web日志)统计系统为例，为了高效的统计网站的用户数，网站的日志记录会依次流经大数据消息系统Kafka、大数据存储系统HBase、在线缓存系统Memcached，以及传统的关系型数据库MySQL等。然而由于Memcached采用API而非SQL语言，程序开发人员无法采用一种通用的、适用于大数据计算框架的方法来操作Memcached，这种紧耦合性会影响系统部署的灵活性。

已存在一些针对HBase、HDFS、Solr、MongoDB的大数据交互式查询接口的方案，如：华为开源的astro(https://github.com/HuaweiBigData/astro)就是这样一款针对HBase的SQL查询驱动。类似的软件还包括Solr-Sql(https://github.com/bluejoe2008/solr-sql)、elasticsearch-sql(https://github.com/NLPchina/elasticsearch-sql)等。然而，目前还不存在一种基于Memcached的大数据缓存交互式查询的方法。

发明内容

本发明的目的在于提供一种基于Memcached的大数据缓存交互式查询方法，该方法有效实现了针对大数据缓存进行交互式查询的能力，同时改善了现有Hadoop/Spark生态中各大数据管理系统(HBase、Impala等)无法满足实时缓存数据高效读写的现状。

针对上述目的，本发明所采用的技术方案为：

一种基于Memcached的大数据缓存交互式查询方法，其步骤包括：