[发明专利]一种基于时序数据的时间投影的索引方法及系统

说明书

本发明公开了一种基于时序数据的时间投影的索引方法及系统。所述索引方法包括：抓取一组数据包，将数据包按照四元组进行聚合统计，生成统计数据，统计数据按周期存入磁盘；根据统计数据构造时间投影索引，将时间投影索引按周期存入磁盘；检索统计数据时，先读取检索时间范围的时间投影索引，接着根据索引和检索时间获得有效的时间范围，再用有效的时间范围读取统计数据，最后将读到的统计数据进行过滤，得到目标数据。通过本发明方法及系统过滤掉了无效的时间数据，减少无效数据的读取，提高了读取数据的有效利用率。

技术领域

本发明属于数据存储及数据检索技术领域，尤其涉及一种基于时序数据的时间投影的索引方法及系统。

背景技术

在网络统计的工程中，会生成很多统计表，在对统计表查询的过程中，分为全量的数据查询和检索数据。前者是查询这个时间点这个统计表的所有数据，后者是检索这个时间点这个统计表满足一定条件的数据。

比如，需要在某个时间范围从IP会话表中检索某个IP地址。

当前通用的技术方案：

先遍历时间，找到需要检索的时间，接着从磁盘读出对应时间的数据，然后根据检索条件，过滤想要的数据。

现有技术存在一个非常致命的缺点，即是检索数据耗时太长，效率太低。主要原因是，读到的数据大多数是不是我们想要检索的数据，导致数据的有效利用率特别低。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了一种基于时序数据的时间投影的索引方法及系统，通过本发明方法及系统过滤掉了无效的时间数据，减少无效数据的读取，提高了读取数据的有效利用率。

本发明目的通过下述技术方案来实现：

一方面，本发明公开了一种基于时序数据的时间投影的索引方法，所述索引方法包括：抓取一组数据包，将数据包按照四元组进行聚合统计，生成统计数据，统计数据按周期存入磁盘；根据统计数据构造时间投影索引，将时间投影索引按周期存入磁盘；检索统计数据时，先读取检索时间范围的时间投影索引，接着根据索引和检索时间获得有效的时间范围，再用有效的时间范围读取统计数据，最后将读到的统计数据进行过滤，得到目标数据。

另一方面，本发明还公开了一种基于时序数据的时间投影的索引系统，所述索引系统包括分析服务器，所述分析服务器包括采集口、分析模块、查询模块、数据包采集模块和存储模块；所述数据包采集模块被配置为基于采集口进行数据源的抓取并生成统计数据；所述分析模块被配置为基于统计数据进行时间投影索引的构造；所述存储模块被配置为在每个统计周期的索引生成后，进行相应索引数据的存储；所述查询模块被配置为基于读取的时间投影索引以及根据索引的结果过滤出的有效时间，进行目标数据的读取。

根据一个优选的实施方式，所述数据源的抓取过程具体包括在网络中，找到出口交换机，并把流量镜像给分析服务器，分析服务器通过采集口完成数据源的抓取。

根据一个优选的实施方式，所述统计数据的生成包括将获得数据源按照预设规则进行聚合统计并得到统计结果。

根据一个优选的实施方式，所述预设规则不限于为四元组ip1+ip2+port1+port2规则或者二元组ip1+ip2规则。

根据一个优选的实施方式，所述时间投影索引的构造包括：选定一个时间周期作为时间投影的统计周期，并选定时间投影索引的时间刻度，基于时间刻度完成整个统计周期上统计数据的比特位设置，形成该统计周期上的投影索引。

根据一个优选的实施方式，进行目标数据的读取过程包括：判断检索条件所需要检索的时间和该时间范围投影索引做交集，得到有效的时间范围，接着用这些有效的时间，从磁盘读数据，然后从读到的数据中根据条件进行过滤，得到需要检索的数据。

根据一个优选的实施方式，所述存储模块不限于由磁盘构成。