[发明专利]一种基于Memcached的大数据缓存交互式查询方法

摘要

本发明提供一种基于Memcached的大数据缓存交互式查询方法，该方法基于Spark SQL提供的构建外部数据源的方式，结合Memcached缓存的内存读写特点，对特定应用场景下的大数据存储介质作了重新的定义。同时实现了大数据处理过程中中间计算结果在Memcached服务器中的缓存，通过Memcached良好的读写性能，结合Spark SQL强大的交互式查询分析能力，有效的提高了大数据缓存进行交互式查询的能力。

主权项

一种基于Memcached的大数据缓存交互式查询方法，其步骤包括：1)将Memcached驱动程序放入Spark SQL的类路径中，并引入到Spark SQL的SQLContext中；所述Memcached驱动程序包括DefaultSource、MemcachedRelation和MemcachedRDD，其中所述DefaultSource实现了Spark中的RelationProvider，用于创建Spark SQL数据源中的MemcachedRelation；所述MemcachedRelation继承并实现了Spark中的BaseRelation和TableScan，用于根据用户需求实现Spark SQL与Memcached服务器之间的交互；所述MemcachedRDD为Spark处理Memcached服务器中的数据提供接口；2)根据Memcached服务器中缓存数据的结构指定表的数据模式，调用SQLContext的sql()方法，提交CREATE TABLE语句创建Spark SQL数据源中的表；3)调用SQLContext的sql()方法，提交SQL INSERT语句，在Spark SQL中根据上述创建的表并调用Memcached API将数据写入Memcached服务器中；4)调用SQLContext的sql()方法，提交SQL SELECT语句，在Spark SQL中根据上述创建的表并调用Memcached API查询Memcached服务器中的缓存数据。