[发明专利]应用于工业物联网的时序数据存储方法和时序数据库

权利要求书

1.一种应用于工业物联网的时序数据存储方法，其特征在于，所述方法包括：

获取待存储的时序数据，对时序数据进行清洗，所述时序数据中携带采集时间戳；

根据时序数据的来源分配时序数据的类别topic，将清洗后的时序数据写入消息分发组件kafka中topic对应的分区partition中，在写入过程中，缓存每条时序数据对应的采集时间戳，以及每条时序数据在partition中的偏移量offset信息；

根据采集时间戳所指示的时间，整理合并各partition下的offset信息，确定topic、采集时间戳与offset信息之间的关联关系；

将topic、采集时间戳与offset信息之间关联关系持久化到索引库。

2.根据权利要求1所述的方法，其特征在于，所述对时序数据进行清洗，包括：

从时序数据中截取采集时间戳；

对时序数据进行标准化处理；

将标准化处理后的时序数据按照采集时间戳的先后顺序进行排序。

3.根据权利要求1所述的方法，其特征在于，根据采集时间戳所指示的时间，整理合并各partition下的offset信息，确定topic、采集时间戳与offset信息之间的关联关系，包括：

根据采集时间戳所指示的时间，统计每个指定时间段内从开始时刻至终止时刻中采集的时序数据对应的offset信息；

将统计的offset信息中，连续的offset信息合并成offset段；

将topic、每个指定时间段与对应的offset段之间的关联关系作为topic、采集时间戳与offset信息之间的关联关系。

4.根据权利要求3所述的方法，其特征在于，所述将topic、采集时间戳与offset信息之间的关联关系持久化到索引库，包括

查询索引库中，与待存储的指定时间段中采集的时序数据的topic相同的topic下是否已记录与待存储的指定时间段相同的时间段；

如果索引库中已记录与待存储的指定时间段相同的时间段，则将待存储的指定时间段对应的offset段与索引库中记录的offset段取并集合并存储，其中，如果待存储的指定时间段对应的offset段与索引库中记录的offset段连续，则将连续的offset段合并为一个offset段；

如果索引库中没有记录与待存储的指定时间段相同的时间段，则将待存储的指定时间段与对应的offset段持久化到索引库。

5.根据权利要求1所述的方法，其特征在于，在将topic、采集时间戳与offset信息之间的关联关系持久化到索引库之后，所述方法还包括：

获取查询条件，确定查询时段范围和所需查询数据的topic；

按照所需查询数据的topic和查询时段范围，从索引库中检索所需查询数据对应的offset信息；

根据所需查询数据对应的offset信息，从Kafka中读取并显示所需查询数据。

6.一种时序数据库，其特征在于，所述时序数据库包括：

获取模块，用于获取待存储的时序数据，对时序数据进行清洗，所述时序数据中携带采集时间戳；

数据写入模块，用于根据获取模块获取的时序数据的来源分配时序数据的topic，将清洗后的时序数据写入kafka中topic对应的partition中，在写入过程中，缓存每条时序数据对应的采集时间戳，以及每条时序数据在partition中的offset信息；

确定模块，用于根据采集时间戳所指示的时间，整理合并各partition下的offset信息，确定topic、采集时间戳与offset信息之间的关联关系；

持久化索引模块，用于将确定模块确定的topic、采集时间戳与offset信息之间关联关系持久化到索引库。

7.根据权利要求6所述的时序数据库，其特征在于，所述获取模块，用于：

从时序数据中截取采集时间戳；

对时序数据进行标准化处理；

将标准化处理后的时序数据按照采集时间戳的先后顺序进行排序。