[发明专利]一种基于MF-Octree的时空数据快速检索方法

说明书

本发明公开了一种基于MF‑Octree的时空数据快速检索方法，包括：步骤1，建立以时间为基准的时间轴；步骤2，当接收到新到达的时空数据时，基于Z‑order曲线将新到达的时空数据存储于八叉树中；其中八叉树按其存储的时空数据的时间属性，依次位于所述时间轴的相应时间段上；步骤3，当收到查询请求时，依据查询请求的时间属性，在时间轴上找到符合相应时间属性的八叉树根节点；步骤4，计算该根节点所属八叉树中的各节点的关联度排序得分，将其中关联度排序得分值小于预设的关联度排序得分标准值的节点，作为查询结果并输出。本发明可以满足用户对时空数据检索的实时性要求，减少了查询响应时间，有效提高检索系统的用户体验。

技术领域

本发明涉及数据检索方法(Data Retrieval,DR)技术领域，尤其涉及一种基于MF-Octree的时空数据快速检索方法。

背景技术

数据是云计算技术的延伸，更是社会进步和发展的必然结果，大数据时代的到来引领了未来IT技术发展的战略走向。在信息和网络技术飞速发展的今天，越来越多的企业业务及社会活动实现了数字化，特别是随着数据生成的自动化及数据生成速度的加快，数据量也随之快递增长，其中传感器数据是大数据的主要来源之一。在物联网时代，成千上万的网络传感器嵌入在数量不断增长的智能电表、移动电话、汽车等物理设备中，不断感知、生成并传输超大规模的有关地理位置信息、时间维度信息、温度、湿度以及其他对象属性信息等新型数据。举例来讲，现如今越来越多的人们使用全球通用的社交软件，像Twitter,Facebook,QQ等，使用这些软件通过上传文本、图像、音视频以及其他形式的文件来进行信息的传递与分享。iiMedia Research(艾媒咨询)数据显示，2017上半年Facebook活跃用户达21.0亿人，位于各社交软件之首，Youtube和whatsAPP紧随其后，twitter用户量也达到了5.7亿，中国的微信和QQ用户总数分别为9.8亿和8.4亿。这些互联网产品的广泛应用导致数据泛滥，据统计，Facebook每分钟用户会分享216302张照片，Youtube注册用户每分钟会分析大概400小时的新视频，Instagram用户每分钟会上传2430555posts，twitter用户每分钟会彼此发送9678tweets。对于这些数据的分析具有很高的应用价值，如目标检测，关键数据信息挖掘，舆情分析以及推荐系统等。此外，对于这些数据的浏览和查阅也是用户关注的重要内容，用户常常希望通过跟踪和监控这些对象数据在时间空间维度的演变来获取有价值的数据，这就是常用的时空范围数据检索。

大量的时空关键字检索技术快速发展并得到了进一步改进。当前现存的时空关键字检索技术主要是针对结构化数据(常见的结构化数据库有：Oracle、Sybase、SQLServer、DB2、Informix等)、非结构化数据(全文文本、图像、声音、影视、超媒体等)的检索问题。对于结构化数据的研究重点在于基于结构化数据库发展起来的索引结构，用于加快查询速度，通常是对常见索引像四叉树、R树进行改进和扩展，由于扩展维护的代价与难度问题，当前工作正处于瓶颈区。非结构化数据库也称为NoSQL数据库，如Hbase，提供基础的数据操作(例如：Get，Scan)，只支持单一的数据检索模式，这些都限制了时空查询技术在大数据领域的应用。由于时空数据检索要求返回在特定的时间和空间范围的数据对象，这种检索要求是传统Hbase无法实现的。同时在实际应用中，所检索的数据对象通常是要求数据的高更新率以及实时的多属性查询，虽然很多方法有考虑时空条件，但仍然无法满足时空数据更加多样的时空检索应用。

发明内容

针对如何在海量的时空数据检索中大大缩短检索时间的关键问题，本发明提出了一种新型检索方法，基于时间段(Temporal segment)和八叉树(Octree)的多维特征八叉树(Multidimensional Feature Octree，MF-Octree)，来高效地组织和处理高频率实时到达的时空数据流，从而保证最新到达的时空数据总是可以插入到最新的时间分段内，并且返回给用户及时可靠的查询结果。

为实现上述技术目的，本发明采用如下技术方案：