[发明专利]一种时序数据乱序操作处理方法和装置

说明书

本发明提供一种时序数据乱序操作处理方法和装置，所述方法针对三种时序数据乱序操作，INSERT(t,v)操作：在时间点t插入新值v；UPDATE(t1,t2,v)操作：将时间段[t1,t2]更新为新值v；DELETE(t)操作：将时间点t之前的数据删除，定义了存储这三种操作的二叉搜索树的结构，该二叉树的每个节点表征一个时间区间段操作，所有节点的fix值满足小根堆性质，所有节点所存储的开始时间、结束时间满足二叉搜索树性质。每当一个新的乱序操作到来时，通过判断该操作与二叉搜索树根节点的交叉关系来对该操作与该二叉搜索树进行相应的修改，最终使得该二叉搜索树能够存储下该操作并能快速对数据进行查询。

技术领域

本发明涉及数据存储技术领域，更具体地，涉及一种时序数据乱序操作处理方法和装置。

背景技术

伴随着云计算、互联网、物联网等现代技术的不断发展和成熟，时间序列数据(简称时序数据)在工业界及人们的日常生活中占据了很大的比重。时序数据是按时间戳排列形成的有序数据，比如一段时间内的环境温度、股票价格、机器的内存使用率等等。其通常具有写入速度快(写入需求大于读取需求)、写入容量大、近期数据关注度高等特点。

在工业实际场景中，数据采集端的数据会传送至机器的解码处理程序，再被写入数据库。在这个过程中，若采集端使用UDP协议传送数据，则因网络延迟可能导致数据写入数据库的顺序与数据产生的顺序不一致。此外，传感器在一段时间内可能由于移动网络信号等原因，设备数据在一段时间内未上传，这之后再被用户将这部分数据写入到数据库中。设备的传感器还可能因为故障等原因产生了错误数据。最后，为了节省空间等目的，一段时间后数据还可能被删除。当一个时间序列数据存在上述操作时，我们称该时间序列为乱序时间序列。

上述实际场景涉及的操作可以被定义为时序数据的乱序操作：假设当前已存储时序数据的最大时间戳为T，则对所有小于T的时间点的操作为乱序操作，具体可分为以下三种：

1)INSERT(t,v)操作：在时间点t(t≤T)插入新值v。

2)UPDATE(t1,t2,v)操作：将时间段[t1,t2](t1≤t2≤T)内已存在的数据值更新为新值v。

3)DELETE(t)操作：将时间点t(t≤T)之前的数据删除。

在多数数据存储系统中尤其是NoSQL存储系统中，乱序操作会明显降低时序数据库的写入及查询性能。如何高效的对乱序操作进行存取是提升乱序数据写入、查询性能的关键。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种时序数据乱序操作处理方法和装置，解决了现有技术中对时序数据乱序操作的写入、查询性能低的问题。

根据本发明的一个方面，提供一种时序数据乱序操作处理方法，包括：

获取乱序操作TP的操作类型op、起始时间戳s、结束时间戳e、乱序操作值v，同时获取二叉树的根节点ROOT状态；

若判断获知所述根节点ROOT为空，则在所述ROOT中存储所述op、s、e、v；

若判断获知所述ROOT不为空，且满足第一预设条件，则令ROOT.v＝TP.v，其中，若ROOT.op为插入INSERT且TP.op为更新UPDATE，则令ROOT.op＝TP.op，ROOT.v＝TP.v；

所述第一预设条件为：TP.s＝ROOT.s，TP.e＝ROOT.e，且不满足ROOT.op为删除DELETE时，TP.op为更新UPDATE；

所述ROOT.op为所述根节点存储的操作类型，所述ROOT.s为所述根节点存储的起始时间戳，ROOT.e为所述根节点存储的结束时间戳；TP.op为所述乱序操作的操作类型；所述TP.s为所述乱序操作的起始时间戳，TP.e为所述乱序操作的结束时间戳。