[发明专利]基于树形网络的大数据分析方法及装置

说明书

本发明涉及大数据技术领域，具体涉及基于树形网络的大数据分析方法及装置。所述方法执行以下步骤：使用预建立的数据分类模型对存储的数据进行分类，得到多个分类后的一级数据集，对每个一级数据集添加至少一个标签；再对每个一级数据集再次进行分类，得到多个分类后的二级数据集；数据分类模型循环执行分类，直到分类后的数据集中具有的元素个数小于等于设定的阈值。其利用数据分类，将数据进行归类，然后纳入树形网络中，并对网络中的节点进行权重标记，在数据繁多的大数据系统中，可以在调用数据时，以更快的速度获取目标数据，有效提升了大数据系统的数据分析效率。

技术领域

本发明属于大数据技术领域，具体涉及基于树形网络的大数据分析方法及装置。

背景技术

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节(TB)至数十兆亿字节(PB)不等。

而由于数据量巨大，导致大数据系统进行数据分析时，往往会消耗巨大的时间获取目标数据。

现有技术中，专利号为CN201510058198.3A的专利公开了一种整合实时和非实时模式的大数据分析系统，该大数据分析系统包括采集系统、任务接口模块、数据整合模块、任务管理模块、资源调度模块、分析处理集群、结果处理模块、分布数据库集群以及中间层接口。本发明对外通过统一的中间层接口提供具有实时响应和非实时响应的大数据分析业务，内部则建立了面向实时模式与非实时模式二者统一的数据结构、分析处理运算和结果反馈机制，并且通过基于优先权重参数的资源分配和任务调度，满足不同分析任务实时或者非实时性的响应时间要求。

其通过分布式技术，一定程度上提升了数据分析的效率，但其仍然需要消耗巨大的资源和时间在获取目标数据上，数据分析的效率依然较低。

发明内容

有鉴于此，本发明的主要目的在于提供基于树形网络的大数据分析方法及装置，其利用数据分类，将数据进行归类，然后纳入树形网络中，并对网络中的节点进行权重标记，在数据繁多的大数据系统中，可以在调用数据时，以更快的速度获取目标数据，有效提升了大数据系统的数据分析效率。

为达到上述目的，本发明的技术方案是这样实现的：

基于树形网络的大数据分析方法，所述方法执行以下步骤：

步骤1：使用预建立的数据分类模型对存储的数据进行分类，得到多个分类后的一级数据集，对每个一级数据集添加至少一个标签；再对每个一级数据集再次进行分类，得到多个分类后的二级数据集；数据分类模型循环执行分类，直到分类后的数据集中具有的元素个数小于等于设定的阈值；

步骤2：基于分类后的数据集构建树形网络；树形网络的根节点为存储的数据；一级子节点为一级数据集；二级子节点为二级数据集；以此类推；

步骤3：对树形网络中的每个节点均进行权重标记；

步骤4：在针对存储的数据进行数据分析时，使用寻路算法，在树形网络中进行寻路，找到目标数据，获取目标数据，进行数据分析。

进一步的，所述数据分类模型对存储的数据进行分类的方法执行以下步骤：获得用于处理所述待分类数据字段的数据库操作语句；对所述数据库操作语句进行解析，获得用于处理所述待分类数据字段的操作参数；针对所述操作参数进行特征提取，获得对应的操作特征；调用训练得到的数据分类模型对所述操作特征进行分类，以获得所述待分类数据字段的分类结果。