[发明专利]基于多引擎数据分群方法、装置、计算机设备和存储介质

说明书

本申请实施例属于大数据技术领域，涉及一种基于多引擎数据分群方法，包括根据用户端的请求，通过Hadoop发起数据分群；接收用户端根据数据分群发出数据包计算指令；通过ElasticSearch(ES)判断数据包计算指令是否为高运算量任务类型；如果数据包计算指令是高运算量任务类型，则根据数据包计算指令，通过ES判断数据包的运算量是否超过运算量阈值；如果运算量没有超过运算量阈值，则通过ES实现运算并输出运算结果；如果运算量超过了运算量阈值，则通过spark实现运算并输出运算结果。本申请还涉及区块链技术，所述数据包存储于区块链中。本申请将任务量少的任务通过ES引擎进行处理，运算量高的任务通过spark引擎处理，由此提升分群的效率。

技术领域

本申请涉及大数据技术领域，尤其涉及基于多引擎数据分群方法、装置、计算机设备和存储介质

背景技术

查询引擎是基于SQL数据库或类SQL数据库在内的数据源，进行数据处理和数据提取、查询工作的产品，通常需要应对大计算量高并发的数据处理工作，现有的查询引擎，利用多维度检索，将一个查询工作分为多个子任务，对这些子任务进行并发处理，处理过程当中需要进行一定程度的预存储，之后对结果进行进一步的提取或者合并，以输出查询或读取结果，此类查询引擎查询维度增多时，会占用大量的运算资源，并且存储资源的占用也会成几何级数增加，如果处理的数据量增加,查询引擎的运算资源会被迅速消耗殆尽，造成任务的堵塞，严重时造成死锁。

目前，业内的查询引擎常常采用ElasticSearch，ElasticSearch需要同步查询的数据之后进行查询，在进行查询的时候对于数据量较低的查询能够完全胜任并且处理速度快。然而，当运算量上升时，因为数据量大，大量深度翻页深度查询、聚合查询的时候反应慢；数据更新频繁时工作效能不稳定；数据写入代价高，如此在数据量较大时会影响稳定性，从而影响数据分群的查询效率。

发明内容

本申请实施例的目的在于提出一种能够通过多引擎进行数据分群，以保证分群效率的分群方法。

为了解决上述技术问题，本申请实施例提供一种基于多引擎数据分群方法，采用了如下所述的技术方案：

一种基于多引擎数据分群方法，包括下述步骤：接收用户端发出的分群请求，根据用户端的分群请求，通过Hadoop发起数据分群；接收用户端根据数据分群发出数据包计算指令；通过ElasticSearch识别所述数据包计算指令的任务类型；若所述数据包计算指令是高运算量任务类型，则根据所述数据包计算指令，通过ElasticSearch判断数据包的运算量是否超过运算量阈值；如果所述运算量没有超过运算量阈值，则通过ElasticSearch实现运算并输出运算结果；如果所述运算量超过了运算量阈值，则通过spark实现运算并输出运算结果。

进一步的，所述根据用户端的分群请求，通过Hadoop发起数据分群的步骤具体包括：通过spark-streaming获取数据分群请求；通过spark-streaming控制Hadoop的hive数据仓库生成与所述分群请求相对应的分群。

进一步的，所述数据包存储于区块链中，若所述数据包计算指令是高运算量任务类型，所述根据所述数据包计算指令，通过ElasticSearch判断数据包的运算量是否超过运算量阈值的步骤具体包括：将所述数据包计算指令输出到消息队列；判断所述消息队列中的所述数据包计算指令所对应的数据包的数据量是否超过数据量阈值；如果数据包的数据量没有超过数据量阈值，则确定数据包的运算量没有超过运算量阈值；如果数据包的数据量超过了数据量阈值，则确定数据包的运算量超过了运算量阈值。

进一步的，所述通过ElasticSearch实现运算并输出运算结果的步骤具体包括：从Hadoop获取标签底表，所述标签底表存储有数据表的标签；通过spark根据所述标签底表获取Hadoop产生的数据表并合并；将合并的数据表同步到ElasticSearch引擎并进行数据抽取或实时查询。