[发明专利]一种海量传感器数据存储与查询方法

说明书

技术领域

本发明涉及传感器数据领域及时态与空间数据库领域，提出了一种能够同时支持快速时空查询和关键字查询的海量传感器采样数据存储与查询处理方法。

背景技术

目前，各类传感器应用系统中，对海量传感器采样数据集中存储管理与查询处理的需求非常强劲，例如在物联网系统、智能交通系统、城市实时监控系统中，需要将海量的、不同类型的、持续动态上传的传感器采样值集中存放在数据中心，并通过相应的查询接口对传感器的历史及当前采样值进行快速的查询与分析处理，从而进行相应的应对处理。

然而，针对上述需求，目前还没有有效的解决方案。在海量数据处理方面，目前最有效的方法是云数据管理技术。但是几乎所有的云数据管理系统均为“键值”数据库，即按照主关键字对数据进行分布组织和查询处理，从而快速地提取与查询关键字相对应的完整数据库记录。这种方法在应对传感器采样数据时存在着诸多的局限性，例如在针对传感器采样数据的查询中，仅有小部分的查询是关键字查询(如“查询传感器“S001”的历次采样数据序列”)，而更多的查询是基于时间与空间约束条件来表示的(如“查找区域A中所有空气监控传感器在t时刻的采样值”)。对于这种基于时空约束条件的查询，“键值”数据库是无法有效地进行支持的。

针对海量数据处理的另一项关键技术是并行数据库技术。并行数据库技术将多个关系数据库组织成数据库集群，来支持海量结构化数据的处理。但是，这种方法在应对传感器采样数据管理时同样存在着诸多的缺陷。首先，关系数据库集群在处理关键字查询时的性能要远低于键值数据库，不能很好地支持“键值”查询；其次，关系数据库集群采用了严格的事务处理机制(如数据加锁机制、多版本机制等)，因此在面对频繁更新的传感器采样数据时，效率十分低下，极大地限制了所能够支持的传感器数据的规模；最后，关系数据库集群通常只支持常规的通用数据类型和查询操作，而无法有效地针对复杂异构的、带有时空属性的传感器采样数据进行表示、计算和查询处理。

发明内容

针对目前在海量异构传感器采样数据查询处理方面缺乏有效方法的现状，本发明提出一种时空数据库与键值数据库相结合的海量传感器采样数据存储与查询处理方法(为了方便叙述，我们将该方法简称为“STDB-KV存储方法”)，目的是为传感器系统中的海量数据管理提供一种可行的解决方案。该方法不仅能够通过专用的数据类型和查询操作有效地存储和查询传感器历史及当前采样数据，而且可以同时支持快速的时空查询和关键字查询。根据详细的文献调研分析，目前在这方面的相关研究与产品研发均处于空白。

为了实现上述目的，本发明所采用的技术方案是：

一种海量传感器数据存储方法，其步骤为：

1)建立一包括一根结点和若干叶结点的两层存储架构；其中，根结点存储一全局查询所需的全局数据字典，叶结点存储传感器采样数据；所述全局数据字典包括一管辖区域分区表和一全局关键字分区表；每一叶结点对应一管辖区域，所有叶结点的管辖区域构成所述管辖区域分区表；所述全局关键字分区表的记录格式为(keyRange，nodeID)，keyRange是关键字值域中的一个区域范围，nodeID是与该范围相对应的叶结点的标识；

2)采样数据接收服务器根据所述管辖区域分区表将传感器发送来的采样数据分配给相应的叶结点；

3)每一叶结点将传感器对同一监控对象的历次采样值以统一的形式存储到叶结点数据库的一个元组中，构成该监控对象的采样数据序列；其中，所述数据库采用关系表存储所述采样数据序列，所述关系表的字段包括：监控对象的标识ObjID、监控对象的具体类型ObjType、部署者DeployedBy、部署时间DepoyedTime、监控对象的宿主对象HostObj、监控对象的采样数据序列Samplings；

4)建立所述两层存储架构的全局时空分布式索引和全局关键字分布式索引。

进一步的，所述统一的形式为：svalue＝(t，(x，y)，schema，value)；其中，t为采样时间，(x，y)采样地点；schema为采样数据所包含的数据项以及各数据项的数据类型，value为具体的采样数据值；如果schema和value包含多个分量，则用括号对分量的边界进行划分。

进一步的，所述监控对象包括静止监控对象和移动监控对象；所述传感器的采样数据的数据格式为：(objID，staticMov，svalue)，其中，objID是监控对象的标识，staticMov标明监控对象是静止的还是移动的。