[发明专利]数据的分析方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种数据的分析方法、装置、设备及存储介质，该方法的步骤包括：获取数据库中待分析数据，将所述待分析数据转化为待分析数据流；将所述待分析数据流进行集合处理，生成所述待分析数据流的集合文件；对所述集合文件进行集合运算，得到所述待分析数据的分析结果。本发明实现了通过获取数据库中待分析数据，将待分析数据转化为待分析数据流，再将待分析数据流进行集合处理得到集合文件，最后将集合文件进行集合运算，得到待分析数据的分析结果，从而提高了数据查询效率、以及资源利用率。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据的分析方法、装置、设备及计算机可读存储介质。

背景技术

目前数据分析方法有直接查询数据库分析方法和分布式集群数据分析方法，直接查询数据库分析方法就是对需要分析的用户数据直接进行数据库查询，从而进行数据分析，由于数据库中存在大量的用户数据，从而减慢了数据库查询的速度，严重的可导致数据库系统崩溃，而且每一次进行数据库查询都是一次新的查询，无法缓存上一次的查询结果，从而消耗了机器性能和浪费了查询资源。分布式集群数据分析方法，需要搭建一个分布式集群数据分析系统，同时需要多台高性能服务器进行操作，而且要使用分布式集群数据分析系统，以及需要学习额外的分布式计算框架和编程模式，从而导致了资源的浪费。由此可知，目前数据分析方法的数据查询效率低、以及资源利用率低。

发明内容

本发明的主要目的在于提供一种数据的分析方法、装置、设备及存储介质，旨在解决现有的数据查询效率低、以及资源利用率低的技术问题。

为实现上述目的，本发明提供一种数据的分析方法，所述数据的分析方法包括步骤：

获取数据库中待分析数据，将所述待分析数据转化为待分析数据流；

将所述待分析数据流进行集合处理，生成所述待分析数据流的集合文件；

对所述集合文件进行集合运算，得到所述待分析数据的分析结果。

优选地，其特征在于，所述对所述集合文件进行集合运算，得到所述待分析数据的分析结果的步骤包括：

获取查询条件，确定所述查询条件中的维度信息，并获取与所述维度信息中名称字段对应的所述集合文件；

解压所述名称字段对应的集合文件，得到所述名称字段对应的维度集合；

通过统计逻辑运算操作对所述维度集合进行集合运算，得到所述待分析数据的分析结果。

优选地，所述通过统计逻辑运算操作对所述维度集合进行集合运算，得到所述待分析数据的分析结果的步骤包括：

根据所述查询条件中的逻辑条件，将所述维度集合进行位运算操作，得到所述待分析数据的分析结果。

优选地，所述将所述待分析数据流进行集合处理，生成所述待分析数据流的集合文件的步骤包括：

获取所述待分析数据流中的维度信息，创建所述维度信息对应的维度集合；

获取所述维度信息对应的数据标识，查询所述数据标识在所述维度集合中对应的数据位；

在所述数据位中赋值，并将赋值后的维度集合压缩为特定脚本格式的集合文件。

优选地，所述获取所述待分析数据流中的维度信息，创建所述维度信息对应的维度集合的步骤包括：

获取所述待分析数据流中的维度信息，并检测是否存在与所述维度信息对应的维度集合；

若检测到存在与所述维度信息对应的维度集合，则加载所述维度信息对应的维度集合作为初始维度集合；

若检测到未存在与所述维度信息对应的维度集合，则创建所述维度信息对应的维度集合。