[发明专利]一种时序数据聚合检索方法、设备及介质

说明书

本发明公开了一种时序数据聚合检索方法、设备及介质，包括用于存储时序数据的数据库，首先对时序数据库进行优化，对于数据的存储增加统计级别的概念，对时序数据进行分级分片存储，为时序数据聚合检索的优化提供数据结构支持；对时序数据进行统计查询时，根据不同统计查询请求，应用不同查询算法，结合分级分片的数据存储结构对时序数据进行统计查询。本发明在数据写入数据库时，只需按照确定的分级分片规则对数据进行分级分片统计，目的为记录数据特征，写入过程不考虑将来查询检索时的条件；统计查询时，根据检索条件，使用原始数据与各级统计数据，优化组合后计算出统计结果，而不依赖海量原始数据，减少数据访问量，提高检索效率。

技术领域

本发明涉及数据检索技术领域，具体涉及一种时序数据聚合检索方法、设备及介质，并包括一种用于存储时序数据的数据库。

背景技术

工业生产中，自动化检测、控制系统会产生大量时间相关的数据。随着工业互联网的发展，云端集中化存储、分析数据的需求日益增加，传统关系型数据库难以压缩存储海量的时序化数值数据，更难以提供高效的检索统计算法。时序数据库是针对此类场景专门优化的数据存储系统，当前较为知名的产品有InfluxDB、OpenTSDB等。

现有技术中，时序数据的存储、查询操作均极度依赖时间戳，存储体系设计主要针对时间戳进行优化，为了减少最终记录的数量，各产品方案都将同一数据点(tag)在一段时间的原始数据，序列化为1条数据进行存储，例如秒级数据记录时，可将时间戳(timestamp)/3600得到的整数部分与tag合并作为主键标识，余数作为该行数据的属性列名，在该列下记录原始数据，使得1小时的原始数据最终仅形成一条数据记录，大大减少了数据条目。

现有时序数据库算法中，数据统计时，均采用预聚合机制，即每小时、每天(或其他单位周期)过后，将数据统计情况形成以小时、全天为单位的统计记录，遇到检索请求时，不用再深入到原始记录项，直接检索已经按周期统计好的数据即可。该方案对于数据连续、按时写入的场景，能够满足需求，但对于工业现场，特别是通过4G网络连接的不稳定工业现场来说，数据并不能保证及时回传，可能会在现场采集设备缓存数小时，甚至数天后，才回传到服务器端，若此时服务器端已将之前的数据做过预统计，则还需更多机制来更新回传的数据。对于检索条件非预知的情况，比如查询昨天凌晨4点15分到今天下午4点15分某数据的平均值，预聚合的统计结果就难以发挥作用，此时仍然需要取出该时间段内的原始数据，再进行统计运算，即进行后聚合处理。

根据应用及实践发现，预聚合计算触发机制不够灵活，同时难以适应检索条件的变化，后聚合计算涉及大量数据时，效率低下。

发明内容

针对上述问题，本发明提供一种时序数据聚合检索方法、设备及介质，首先对时序数据库进行优化，对于数据的存储增加统计级别的概念，对时序数据进行分级分片存储，为时序数据聚合检索的优化提供数据结构支持；对时序数据进行统计查询时，根据不同统计查询请求，应用不同查询算法，结合分级分片的数据存储结构对时序数据进行统计查询，有效弥补现有技术中预聚合与后聚合查询计算的缺陷。

本发明具体为：

一种用于存储时序数据的数据库，包括：

数据存储模块，用于采用分级分片的方式存储时序数据；所述时序数据包括原始数据和预聚合后的统计数据；

数据更新模块，用于对所述时序数据进行增量式更新；在工业场景中，很多数据在很长时间范围内是保持不变的，因此无论是原始数据还是统计数据，均为数据有变化时才更新，以达到压缩数据量的目的；前置的数据采集装置亦可采取增量式数据传输机制，以节省数据传输量；

数据查询模块，用于提供查询所述时序数据的查询接口。

进一步地，所述数据存储模块具体用于：