[发明专利]基于MapReduce的XML数据查询方法和系统

说明书

本发明公开了一种基于MapReduce的XML数据查询方法和系统，步骤：服务器接收客户端的XPath查询请求；查看待查询XML文档是否已进行区间编码；对未经过区间编码的待查询XML文档进行区间编码；服务器查看待查询XML文档是否已进行层次编码；对未经过层次编码的待查询XML文档进行层次编码；将查询请求中的查询语句进行解析；生成查询计划树，对结构连接结果进行估算；建立代价模型，对查询计划树的执行代价估算；找出最优查询计划树；求出的最优查询计划树，解析出MapReduce作业的输入文件；执行MapReduce查询作业；将MapReduce作业输出文件构造成XML数据结果集作为查询结果；将XML数据查询结果返回给客户端。该方法具有执行效率较高、加速比高、查询处理性能好和可伸缩性的优点。

技术领域

本发明涉及XML(Extensible Markup Language，可扩展标记语言)查询处理领域，特别涉及一种基于MapReduce的XML数据查询方法和系统。

背景技术

XML是一种可扩展标记语言，用来标记数据，定义数据类型，传输和存储数据。其中的标记(markup)是关键部分，可以创建内容，然后使用限定标记标记它，从而使每个单词、短语或块成为可识别、可分类的信息。创建的文件，或文档实例由元素(标记)和内容构成。当从打印输出读取或以电子形式处理文档时，元素能够帮助更好地理解文档。元素的描述性越强，文档各部分越容易识别。自从出现标记至今，带有标记的内容就有一个优势，即在计算机系统缺失时，仍然可以通过标记理解打印出来数据。

XML目前在Web中起到的作用不亚于超文本标记语言(Hypertext MarkupLanguage，HTML)，是应用程序之间进行传输数据的最常用工具。XML有着很多的优点，它的广泛使用使得XML数据量呈爆炸性趋势增长，在一台机子上处理大数据量的XML文档的速度已经不能满足人们的需求，传统的基于内存的查询方法的查询速度非常慢，而一些分布式的XML查询方法在每次查询都要对整个文档进行遍历。

作为开源的分布式计算框架的代表之一，Hadoop及其改进系统以其可靠性、高效性、高容错性和低成本等特点，成为云计算和大数据处理典型支撑框架，Hadoop框架通过HDFS技术和MapReduce技术能够实现海量数据的存储和分析，HDFS和MapReduce是Hadoop整个项目的基础和核心，Hadoop庞大的家族中的其他子项目都是基于HDFS和MapReduce技术的，因此基于Hadoop框架下MapReduce技术来研究XML查询处理十分必要。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于MapReduce的XML数据查询方法，该方法能够实现针对海量XML数据进行XPath查询，并为查询处理建立了代价模型，通过代价估算方法对查询计划进行优化，该方法具有执行效率较高、加速比高和可伸缩性的优点，有效的提高了XML数据查询处理的性能。

本发明的另一目的在于提供一种基于MapReduce的XML数据查询系统。

本发明的第一目的通过以下技术方案实现：一种基于MapReduce的XML数据查询方法，步骤如下：

步骤101、服务器接收客户端的XPath查询请求；

步骤102、服务器接收到XPath查询请求后，查看待查询XML文档是否已进行区间编码；

若否，则进入步骤103；

若是，则进入步骤104；

步骤103、对待查询XML文档进行区间编码，然后进入步骤104；

步骤104、服务器查看待查询XML文档是否已进行层次编码；

若否，则进入步骤105；

若是，则进入步骤106；