[发明专利]一种数据分析方法及系统

说明书

本发明提供一种数据分析方法及系统，通过数据接收线程接收数据，在数据接收线程接收到数据后，根据数据的属性信息和预设索引字段构建内存聚簇索引，并通过计算线程根据内存聚簇索引获取数据的关联数据集，进而可以通过计算线程下挂的分析规则对关联数据集中的数据进行分析，得到分析结果，因为数据接收线程和计算线程被在系统启动时同时启动，这样在数据接收线程接收到数据后，计算线程即可对数据进行分析，实现数据的实时分析，进而降低数据分析延迟。

技术领域

本发明属于数据处理技术领域，更具体的说，尤其涉及一种数据分析方法及系统。

背景技术

随着不同领域的业务种类的日益丰富以及发展，不同领域的业务种类对应的数据也逐渐增多，因此对这些数据的处理需求，尤其是对数据的分析需求日益增长。

目前，对数据的分析过程为：将数据存储在设备所配置的数据库的数据表中，如可以将数据存储在关系型数据库的数据表中，与数据对应的各种分析规则预先存储在数据中。在对数据进行分析时可以周期性调度预先存储的各种分析规则，得到的分析结果也被存储至关系型数据库的相关表中，这样外部设备可以通过数据库驱动程序，从相关表中查询分析结果。

但是上述周期性调度预先存储的各种分析规则对数据进行分析，需要在一轮处理结束后间隔一定时间周期开始下一轮的数据分析，而这种方式会使得存储至数据表中的数据量逐渐增多，加大数据分析延迟。

发明内容

有鉴于此，本发明的目的在于提供一种数据分析方法及系统，用于降低数据分析延迟。技术方案如下：

本发明提供一种数据分析方法，所述方法包括：

同时调用数据接收线程以及用于进行数据分析的至少一个计算线程，所述至少一个计算线程中每个计算线程下挂不同的分析规则；

通过所述数据接收线程接收数据；

在通过所述数据接收线程接收到数据后，获取所接收到的数据的属性信息，并根据所述属性信息和预设索引字段构建内存聚簇索引；

通过每个计算线程根据所述内存聚簇索引，获取所接收到的数据的关联数据集，并通过每个计算线程下挂的分析规则对所述关联数据集中的数据进行分析，得到分析结果。

优选地，所述方法还包括：将所接收到的数据存储至内存的数据队列中；

在每个计算线程完成对所述关联数据集的数据分析后，记录本次数据分析的最后一条数据在所述数据队列中的位置。

优选地，所述方法还包括：在所述关联数据集通过每个计算线程进行第一次数据分析时，将每个计算线程得到的分析结果存储至内存中；

在所述关联数据集通过每个计算线程进行第i次数据分析时，从所述内存中获取所述关联数据集在第i-1次数据分析时得到的分析结果，将所述第i-1次数据分析时得到的分析结果和第i次数据分析时得到的分析结果进行合并，并将合并后的分析结果存储至内存中，其中i为大于1的整数。

优选地，所述方法还包括：在内存中每存储一条分析结果，将所述分析结果的状态标识为待存储状态；

判断所述内存的待存储队列中是否包括所述分析结果，如果不包括，则将所述分析结果存储至所述内存的待存储队列中；

在调用数据接收线程以及用于进行数据分析的至少一个计算线程的同时，调用存储线程；

通过所述存储线程将所述待存储队列中的分析结果存储至永久存储设备中，并将所述分析结果的状态标识为已存储状态。

优选地，所述方法还包括：通过预先配置的查询接口接收查询请求；

从所述内存中查找与所述查询请求对应的分析结果，并输出所对应的分析结果；

和/或者