[发明专利]一种物联网感知大数据的缓存设计和查询方法

摘要

本发明公开了一种物联网感知大数据的缓存设计和查询方法，感知数据存储层，存储感知设备采集的原始感知数据；中观感知数据层，存储从原始感知数据中分析计算得到的小数据量不同粒度大小的较高价值密度数据，该层数据可满足大部分查询和统计；中间结果缓存层，存储从中观感知数据层和原始数据层查询和统计的中间结果、报表和查询条件；中观感知数据层接收查询请求，在已有数据上进行查询，并选择是否下发查询请求到感知数据存储层；再逐级汇总查询结果返回。本发明极大地减少了查询时计算所需数据量，减少了对原始感知数据存储的访问次数，提高查询返回的速度，达到近实时查询的效果。

主权项

1.一种物联网感知大数据的缓存设计和查询方法，物联网感知大数据的系统共分为4层，第一层是感知数据存储层，负责存储原始感知数据，这些数据是感知设备采集的海量的详细信息，具有微观特征；第二层是中观感知数据层，是在原始感知数据的基础上预先进行分析和计算，把低价值密度、大数据量的原始感知数据，转化为高价值密度、小数据量的数据；每条高价值密度数据均由多条原始感知数据分析计算得到；第三层是中间结果缓存层，缓存从中观感知数据层查询和计算得到的中间结果数据，以及常用统计报表数据；第四层是业务系统层，提供查询或统计需要的结果或报表，具有宏观特性；其中，重点关注中观感知数据层，即存储原始感知数据基础上分析计算得到的不同粒度的数据；通过这些数据，满足大部分的近实时查询需求；其特征在于：该方法包括以下步骤：步骤1、将原始感知数据转换为中观感知数据，并进行存储；步骤2、将细粒度的中观感知数据转换为粗粒度的中观感知数据，并进行存储；步骤3、周期性执行步骤1和步骤2操作；步骤4、定制中观感知数据层中的查询引擎对各类查询的解析方式和执行规则、以及返回的数据模板；步骤5、维护中观感知数据层中的数据和配置，包括删除和重新计算中观感知数据；步骤6、对中观感知层数据进行分析和计算结果，缓存在中间结果缓存层；步骤7、周期性执行步骤6；步骤8、将符合缓存条件的查询或计算结果，缓存在中间结果缓存层；步骤9、定制中间结果缓存层中的查询引擎对各类查询的解析方式和执行规则、以及返回的数据模板；步骤10、维护中间结果缓存层中的数据和配置，删除或重新计算缓存数据。