[发明专利]物联网感知数据“溯源‑矢量”的分层存储机制

摘要

本发明公开了物联网感知数据“溯源‑矢量”的分层存储机制，将物联网感知大数据的存储分为两层溯源存储层和矢量存储层。在溯源存储层采用简单快速的存储方法实现原始采样数据的高效存储，并通过矢量拟合及更新策略，将矢量数据上传到矢量存储层。在矢量存储层，通过基于矢量序列的感知大数据存储模型及查询与分析方法，实现感知大数据的高效处理。其中“矢量”我们定义为被监控对象的状态变化模式，由于物联网监控对象的状态通常会按照某种规律持续较长时间，我们可以用矢量来刻画监控对象的较长时间的状态，从而在保证数据精度的同时，极大地降低矢量存储层的数据更新与存储的代价。

主权项

物联网感知数据“溯源‑矢量”的分层存储机制，其特征在于：该分层存储机制是一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层；在“溯源‑矢量”分层方面，物联网系统中，感知数据是频繁采集并上传的，形成了繁重的数据计算与存储代价；然而，监控对象的物理状态大部分时间是保持不变或按照模式匀速变化的，例如移动对象在某条道路上基本匀速前进、油库温度大部分时间保持恒定等；将被监控对象的状态变化模式称之为“状态矢量”或称为“矢量”；与原始采样数据频繁变化不同，状态矢量的变化稀疏很多；如移动对象长时间以相对固定的速度在高速公路上行进，尽管采样数据不断上传，但是状态矢量并没有发生变化；因此，如果能够通过状态矢量来描述监控对象的物理状态，则大大地降低数据的规模和更新频率；其中，溯源存储层对来自于感知设备的原始采样数据进行存储，并通过对原始采样数据的分析，提取出状态矢量，并将之上传到矢量存储层，原始采样数据包括传感器采样数据和多媒体监控数据；通过这种方式，使得绝大多数的数据被存放在溯源存储层，而仅有相对少量的矢量数据被存放在矢量存储层，不仅大大减少了矢量存储层进行数据查询与分析等操作所涉及的数据量，而且降低了矢量数据存储层中数据更新的频率；将上述机制定义为“数据变速”；在物联网系统中，由于插值计算、矢量提取是最核心的基本操作，因此采用大记录的方式进行数据的表示，并通过设计矢量生成和匹配算法对状态矢量进行更新；此外，由于物联网感知数据属于高度动态的数据，表现为新的采样数据不断到来，而旧的过时数据需要逐渐被淘汰，因此数据写操作的性能瓶颈是一个核心问题；为此，引入内存与外存混合的数据存储方式，将频繁更新的最新矢量数据存放在内存，通过内外存数据交换机制、内外存数据协同查询机制等，支持高速流数据的同时，也最大限度地降低外存数据的写操作压力，通过“数据变速”、大粒度格栅索引等方式，降低矢量存储层数据更新的频率；物联网感知大数据的查询、统计与分析等大部分操作均在矢量存储层进行；在矢量存储层，感知数据以监控对象为单位进行组织，每个监控对象对应于一条数据记录，其中该监控对象的历次状态矢量形成一个序列，作为该记录的一个属性；同时，该记录还包含有原始采样记录的存放地址，使得查询操作完成时，可以通过该地址在溯源存储层中获得原始采样数据，从而实现物联网数据的溯源查询；在溯源层数据的存储表示和查询方面，在溯源存储层，传感器及监控设备的采样数据是以感知设备为单位进行组织；同一个感知设备的所有采样数据按照时间序列组织在一起，形成该设备的“采样数据序列”，并作为一个属性值存放在该感知设备的数据记录中；各类感知设备的单个采样值SamplingValue分为两大类，即数值型采样值和多媒体采样值；通过无线传感网络汇总的数据、通过互联网数据分析导出的数据、通过人工系统录入的事件数据均视为感知采样数据；数值型采样值为温度传感器、GPS传感器、RFID传感器等所采集的数据；多媒体采样值为视频监控图像、高空及地质勘探遥感图像、音频监测信号；感知采样数据统一地表示为如下格式：SamplingValue＝(t,pos,schema,value)(1)设TimeInstant、Point、String分别为时间点、空间点、字符串型数据的值域；其中，t∈TimeInstant、pos∈Point分别是该采样数据所对应的采样时间和采样地点；schema∈String和value∈String分别是采样数据的“型”和“值”，其中“型”描述了采样数据的格式及数据类型，“值”是具体的采样数据值；同一个感知设备的历次采样值按照采样时间顺序排列，形成该感知设备的采样数据序列SamplingSequence，表示为如下格式：SamplingSequence＝(schema,((ti,posi,valuei)))   (2)其中，schema∈String是采样序列中各采样值的“型”，ti∈TimeInstant、posi∈Point和valuei∈String分别是第i个采样值的采样时间、采样地点以及实际的采样数值；每个感知设备对应一条数据记录DevRecord，表示为如下格式：DevRecord＝(DevID,DevDescript,Samplings,addr)   (3)其中DevID∈String为感知设备的标识；DevDescript∈String为该设备的文本描述；Samplings∈SamplingSequence是一个SamplingSequence型的值，记录该设备在某段时间内的历次采样值；addr∈String是该设备的物理访问地理，用以直接对相关的监控设备进行访问；溯源存储层包含由多个服务器组成的集群，感知设备所对应的数据记录按照DevID进行Hash并分布式地存放在服务器集群中；在每一个溯源存储服务器上，对感知设备数据记录的Samplings属性建立有时间戳索引，从而支持对任意感知设备在指定时间点附近的采样值的快速存取；对溯源层的数据进行矢量提取，并存储在矢量层：矢量vector表示为一个时间的函数f(t)，同时加上时间tstart与结束时间tend,即vector＝(f(t),tstart,tend,size,unitime)，对于每一个活动的感知设备的每个分量，其最后一个矢量为当前活动矢量，size为矢量函数f(t)的阶数，unitime为该矢量上的单位时间；设状态矢量为vetror，s为一个传感器，c为其某个采样分量，则s的c分量的多个连续采样值可以构成VχT的二维超平面中的一条线段l，其中V和T分别为采样值和采样时间的值域；在进行矢量提取时，通过离散的点进行拟合，将采样值线段l拟合成一组VχT平面中的曲线段。