[发明专利]一种时空数据索引构建和查询方法、系统、数据库系统

说明书

本发明属于时空数据存储与管理技术领域，公开了一种时空数据索引构建和查询方法、系统、数据库系统，将需要入库的时空点数据按照四种不同时间粒度进行TD‑Hash编码；以四种不同时间粒度的TD‑Hash编码分别为关键字将空间点要素冗余存储在NoSQL数据库中；当对NoSQL数据库中存储的时空点要素数据进行时空范围查询时，将查询条件转换成若干个TD‑Hash编码区间，对每组TD‑Hash编码区间生成一个对应Scan查询，再进行精细过滤获得最终的查询结果。本发明在查询粗过滤阶段将时间查询范围分解成多个长度不等的子范围，粗过滤阶段引入的冗余数据会大大降低，减少细过滤阶段的负担，使查询效率大幅提升。

技术领域

本发明属于时空数据存储与管理技术领域，尤其涉及一种时空数据索引构建和查询方法、系统、数据库系统。

背景技术

目前：定位技术的不断发展和各个行业信息化的进步，导致了大量的时空数据产生。例如，当今人们都随身携带着移动设备，比如手机、智能穿戴等，这些设备会在某些时刻记录使用者的地理位置；GPS设备已经大量普及交通工具，交通工具的轨迹会被GPS采集下来，时空数据从而产生。如何存储和管理时空数据成为众多学者所面临的一个问题。传统的关系型数据库在在水平扩展上具有天然的劣势，以HBase为代表的分布式NoSQL数据库的出现为解决海量数据提供了新的解决思路，这是由于它支持数据的高速写入与基于RowKey的高速查询。时空数据一般具有三个维度，分别是经度、纬度和时间，而NoSQL数据库只对一维数据提供了存储与查询的支持，所以需要将时空数据一维化处理。

常用的方法是使用Xuefeng Guan提出的ST-Hash编码方案，它是GeoHash的三维拓展，使用ST-Hash编码技术将时空数据一维化，以ST-Hash编码作为Key，使用空间要素作为Value，将其存储在NoSQL数据库中。在时空范围查询时，根据经度、纬度、时间计算出最小八叉树节点，将此节点再划分成64份，判断划分后的每一个节点是否与查询范围相交，将这些相交的节点的数据粗过滤出来，再根据实际的查询范围进行细过滤。使用此方案的时空数据存储系统，ST-Hash编码长度是固定的，因此数据和对应索引在时间维度的划分粒度也是固定的。当时间查询范围和该固定时间粒度大小不匹配时，在粗过滤阶段会引入大量的冗余数据，使细过滤阶段的任务过重，查询效率降低。

通过上述分析，现有技术存在的问题及缺陷为：现有技术在粗过滤阶段会引入大量的冗余数据，使细过滤阶段的任务过重，查询效率降低。

解决以上问题及缺陷的难度为：现有基于ST-Hash的时空索引技术只能选定一种时间粒度建立时空索引并划分所存储的时空数据集合。在实现时空查询时，如果时间维度查询范围与系统采取的时间粒度不匹配，则会大大降低查询效率。而在大部分应用场景中，无法预估或限定用户查询请求中的时间维度范围参数。

解决以上问题及缺陷的意义为：本发明同时采用多种时间粒度构建时空索引，虽然增加了存储容量开销，但能够在实现时空查询时选择时间维粒度最匹配的时空索引，因此可以大幅度提高时空查询效率。随着电子元器件技术的发展，磁盘、固态盘等常用数据存储介质价格越来越便宜，在很多应用场景中以空间换时间、为用户提供更快的数据查询支持可以带来更大的实际收益。

发明内容

针对现有技术存在的问题，本发明提供了一种时空数据索引构建和查询方法、系统、数据库系统。

本发明是这样实现的，一种时空数据索引构建和查询方法，所述时空数据索引构建和查询方法包括：

将需要入库的时空点数据按照年、月、天和小时四种不同的时间粒度进行TD-Hash编码；每个时空点要素对应4个不同的TD-Hash编码，为构建4种不同时间粒度的时空索引做准备。

以四种不同时间粒度的TD-Hash编码分别为关键字将时空点要素冗余存储在NoSQL数据库中；每个时空点要素同时有多个副本存储在数据库中，不同副本对应不同时间粒度的时空索引。