[发明专利]物联网感知数据“溯源‑矢量”的分层存储机制

说明书

技术领域

本发明属于大数据分析管理领域，涉及物联网感知数据的变速及分层存储的方法。

背景技术

随着物联网技术及其相关应用(如智慧城市、感知中国、智能交通、应急管理、智能安防等)的飞速发展，如何有效地存储、查询与分析海量的物联网感知数据成为了一个亟待解决的关键问题。物联网感知数据是指在物联网系统中，各种感知设备(包括各类传感器设备以及多媒体监控设备)所动态采集的采样数据。据权威机构IDC预测，2020年全球数据量将达到35ZB，是2009年的45倍。例如在智能交通监测方面，北京市目前用于GPS位置信息及道路实时监控的设备有60余万个，每天产生的交通感知数据在3PB左右。现有的物联网、大数据处理技术或产品仅聚焦在信号传输和原始数据存储方法，未能将这些具有极高隐含价值的感知大数据进行有效的分析和利用。

例如在智慧城市系统中，大量的传感器设备及多媒体监控设备(如交通摄像头及视频分析、城市安防摄像头、道路车辆抓拍设备等)在不断地采集相关的数据。如果将这些数据分散存储，则它们多数时候仅能满足个体分散查询的需要。反之，如果将这些数据集中存放在数据中心，则可对它们进行汇总查询与分析，不仅可以了解大面积感知设备反映出的总体态势信息，而且可以挖掘出更深层次的规律和模式，如交通流变化模式、污染带的地理分布及变化趋势等，进而实现有效的感知和控制。

然而，目前针对物联网感知大数据的研究极为有限。许多物联网应用系统直接采用现有的数据库管理方法，如关系数据库及数据库集群技术、云计算数据管理技术如Key-Value Store、列存储及Map/Reduce等。但是这些方法往往只能解决一时之需，不能真正有效地解决物联网感知大数据的存储与分析问题，在物联网感知数据的海量性、频繁数据更新、异构性、时空相关性、流式积累性、连续序列性方面对目前的数据处理技术形成了巨大的挑战：海量性的挑战。物联网感 知数据是通过感知设备频繁采集获得的，这些数据的规模远远超出了关系数据库及其集群的数据规模。虽然关系数据库通过结构化的方法可以实现物联网数据的表示、查询及统计分析，然而受到关系数据库数据模型及事务处理机制的影响，关系数据库系统并不能很好地适用于海量的分布式计算环境。

现有的感知大数据存储模式也不适用于物联网感知大数据的处理，在现有大多数系统的感知采样数据采用是以单个采样值为基本记录单位的存储方式(称为“小记录”存储)，这就导致了很多冗余采样数据频繁的上传，即同样的数值或遵循某种发展趋势的数值频繁的上传到服务器，给存储系统带来了很多不必要的操作，例如服务器集群磁盘频繁寻址、简单的逻辑查询也需要调用全局的查询框架等。相反，如果以感知设备/监控对象为基本记录单位，将该感知设备/监控对象的所有采样数据按照时间序列组织在一起，形成该记录的一个属性(称这种方式为“大记录”)的存储方式，可以大幅提高系统在存储方面的效率。

在物联网系统中，感知数据是频繁采集并上传的，形成了繁重的数据计算与存储代价。然而，监控对象的物理状态大部分时间是保持不变或按照一定的模式匀速变化的。如果能够通过状态矢量来描述监控对象的物理状态，则可以大大地降低数据的规模。

基于上述思路，本发明提出了一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层。其中溯源存储层对来自于感知设备的原始采样数据进行存储，并通过对原始采样数据转换的数值进行拟合、插值分析，形成状态矢量后上传到矢量存储层。矢量存储层通过基于矢量序列的感知大数据存储模型及查询与分析方法，实现感知大数据的高效处理。

此外，多媒体采样数据属于非结构化数据，本身对语义查询并没有太大的意义，只有通过多媒体分析提取出的语义信息才有价值。在物联网查询系统中只需要存储提取出的语义数据，从而大大地降低数据的计算及存储代价。

上述这种双层分工协同的存储方式的机理主要在于:在溯源存储层不用考虑复杂查询、索引、分析等操作，可以专注于采用简单高效的存储方式实现感知数据的快速存储处理；在矢量存储层，通过基于状态矢量(刻画采样数据状态特征)的大数据表示、查询和分析，不仅有效降低了矢量存储层中数据更新的速度，而且大大减少了数据查询与分析等操作所涉及的数据量。

发明内容

本发明采用的技术方案为物联网感知数据“溯源-矢量”的分层存储机制，该分层存储机制是一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层。