[发明专利]一种IOT大数据实时时序流分析应用技术方法

权利要求书

1.一种IOT大数据实时时序流分析应用技术方法，其特征在于：包括以下步骤：

步骤一：海量数据库建库：

S1：对原始数据解析

根据各类系统产生的数据的结构不尽相同，开发一个程序工具，自动解析识别提取数据的要素数据，挖掘数据中存在价值的要素数据，舍弃非必要数据，减少数据量，提高数据质量；

S2：数据分类结构化存储

通过将第一步得到的数据，进一步将数据分类，将数据的静态属性与动态数据分开存储，对数据分类对象化存储，将同一类多对象的静态属性存于一张表以便于多对象的聚合分析，单个对象的动态属性单独存于一张表；

S3：数据对象映射到数据库结构建立海量数据库

按照第二步中的思路建好数据库表，将分类好的数据结构化存储到海量数据库，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，提高查询速率，由于单个对象的数据源唯一的特性，采用无锁追加的方式来写入数据库；

S4：建立海量数据库索引

为提高对形成海量数据集查询效率，必须根据数据的特征及特性建立索引，在创建单个对象动态属性表的时候，以时间戳为主键，默认创建时序索引，根据不同的业务需求建立其他普通索引以及联合索引，从而进一步提升数据库检索引擎效率；

S5：低实时性分析服务

基于海量数据库，进行建模与分析，每个分析服务其功能尽可能保证单一性，当某个分析服务并发数量较大时，对其进行集群部署，从而提高分析服务的性能；

步骤二：实时数据分析：

S6：缓存产生的海量数据

根据源头解析处理过后的数据，开发一个程序工具，每产生一条数据就将其转换结构缓存key-value高性能数据库中，这个软件工具仅且只有这一个功能，直接对其集群部署，从而支持其高并发量；

S7：实时统计分析服务

基于第六步中key-value高性能数据库缓存的数据，根据需求开发实时分析服务，该服务会对缓存的数据实时轮询，根据生产消费者模式，从key-value高性能数据库缓存的数据列表首部获取一条数据，则从缓存列表首部移除一条数据，减少缓存数据的量，假设每秒系统产生的数据量非常大，可对该实时分析服务进性集群部署，增大消费者的数量；

S8：缓存分析结果

在经过实时分析将分析结果缓存到数据库中，如果有业务需求，将逐条数据分析的结果与原有的分析结果合并，同时缓存数据的数据库必须保证每次查询修改数据是原子操作。