[发明专利]一种基于双层索引结构的起源图查询方法

说明书

本发明公开一种基于双层索引结构的起源图查询方法，包含以下步骤：首先，面向起源图查询，提出一种双层索引结构；其次，设计基于词典表全局索引，表中记录起源数据与数据之间匹配关系以及起源图ID；然后，提出基于位图局部索引，依据起源图RDF查询方式，提出了满足Triple Pattern查询的索引和三种join查询方式，并且基于索引设计了相应的查询算法。最后，通过测试，验证了基于双层索引结构的起源图查询方法的可行性和有效性。

技术领域

本发明涉及大数据管理领域的起源数据的管理，着重针对数据起源图的查询方案的设计与实现。本发明根据数据起源图特点给出一种基于双层索引结构的起源图查询方法。该方法分别从全局和局部两个层次进行设计：一方面通过词典表可以匹配数据与其起源数据之间的关系提出基于词典表全局索引算法；另一方面根据起源图ID快速定位起源所存储在云计算服务器节点，提出基于位图局部索引结构，包括6种不同的选择索引和3种join链接索引，并设计了相应的查询算法。

背景技术

数据起源是对数据处理的整个历史的信息，包括数据的来源和处理这些数据的所有后继过程。随着大数据的不断发展，云计算环境下如何高效的查询起源信息变得尤为重要，如何高效的查询起源信息成为了一个亟待解决的问题。

本发明针对云计算环境下数据起源查询问题，引入一种双层索引结构，分别从全局索引和局部索引两方面进行分析，设计了一种起源图查询方法，并对方法可行的、有效的进行验证。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于双层索引结构的起源图查询方法。

技术方案：一种基于双层索引结构的起源图查询方法，首先，面向起源图查询，提出一种双层索引结构。其次，设计基于词典表全局索引，表中记录起源数据与数据之间匹配关系以及起源图ID，即能够关联起源与数据之间的关系，又能够迅速定位到起源所存储云服务器节点以减少用户查询响应时间；然后，提出基于位图局部索引，依据起源图RDF查询方式，提出了满足八种Triple Pattern查询的索引和三种join查询方式，并且基于索引设计了相应的查询算法。

面向起源图查询的双层索引结构

以往的分布式环境下存储起源数据，查询起源仅仅依赖master节点来分配任务进行查找，通常需要遍历整个集群，消耗大量的时间和资源。而现有分布式环境下起源存储系统基本都是基于主键来快速查询，缺少高效的索引结构，不能提供多维查询和join等查询。高效的索引结构能有效的提高查询效率，缩短用户查询时的响应时间。

为提高查询效率，结合起源图特点，提出了一种双层索引结构。索引结构包括基于词典表全局索引和基于位图局部索引。全局索引查询起源图所存储的服务器节点，局部索引对全局索引查询到的服务器节点细化查询，进而查询到所需的起源数据。全局索引分布在云环境下每一个节点上，当用户请求到达时，只需参照本地服务器的全局索引结构即能得出所要查询起源图所在节点位置。局部索引是只建立在本地服务器所存储的起源数据的索引，每一个节点之间的局部索引并没有依赖关系。

基于词典表的全局索引及全局查询算法

首先给出词典表结构设计，在此基础上，完成基于全局索引的查询流程。

1、词典表结构设计

根据数据起源特点，从两方面设计词典表HCPTable。首先，存储起源图名称和对应数据项。数据项就是起源所描述的数据，将一次工作流中的所有数据都对应一个起源图，粗粒度的描述起源与数据之间的关系。其次，存储起源图名称与对应ID。每一次工作流的执行则会产生一个数据起源图，起源ID则在存储过程中依据Hash(key)映射产生。全局索引中起源图ID为一致性哈希索引算法的输入项，根据起源ID可以快速计算出起源图所存储服务器节点。

2、基于全局索引的查询流程