[发明专利]数据查询展示方法及查询展示系统

说明书

一种数据查询展示方法及查询展示系统，方法包括如下步骤：对查询队列按照设定的优先级进行动态编排顺序；按优先级处理查询任务，根据预置的配置信息连接分布式存储，通过中间件服务在缓存中建立多个并行队列，每个并行队列内置对查询信息按ID索引分析，将数据库中的数据以相关联的ID索引分配到多个并行队列中去处理，配置信息包括缓存服务IP地址池以及并行队列上限数，缓存服务IP地址池内包含有多个提供缓存服务的IP地址；按查询任务收集查询信息项，进行数据清洗后存入缓存数据库中以供展示。本发明通过将百亿级数据分解到动态创建的多个队列中去处理，全局以ID索引来关联，从而支撑对百亿级分表数据库进行查询分析，性能优势明显。

技术领域

本发明涉及大数据技术领域，具体地说，涉及数据查询展示方法及查询展示系统。

背景技术

在互联网发展日新月异的时代背景下，人们的生活、工作、消费、活动的习惯与行为特点会留存大量数据，Oracle、mysql、sql server等常用的数据库只支持数据量最大5000万至2亿笔的查询分析与分页、及报表展示，然而，随着大数据技术的深入发展，目前对于各行各业，其数据量存储都很大，可能达到10-100亿级数据量。所以基于常见数据库无法实现10亿-100亿级数据分析和报表展示。

发明内容

为解决以上问题，本发明提供一种数据查询展示方法，包括如下步骤：

步骤S1，对查询队列按照设定的优先级进行动态编排顺序，其中查询队列是指实时的数据查询任务形成的队列；

步骤S2，按优先级处理查询任务，根据预置的配置信息连接分布式存储，通过mq中间件服务在缓存中建立多个并行队列，每个并行队列内置对查询信息按ID索引进行分析，将数据库中的数据以相关联的ID索引分配到动态创建的多个并行队列中去处理，其中，

所述配置信息包括缓存服务IP地址池以及并行队列上限数，缓存服务IP地址池内包含有多个提供缓存服务的IP地址；

步骤S3，按查询任务收集查询信息项，进行数据清洗后存入缓存数据库中以供展示。

优选地，所述优先级是指按照第一优先级、第二优先级、第三优先级的顺序来进行处理，其中，第一优先级表示已缓存和索引的查询，第二优先级表示是正在缓存和建立索引的查询任务，第三优先级表示未缓存和索引过的查询信息，其中已缓存和索引是指已经输入过的检索信息，并根据检索信息生成了与数据库之间的ID索引。

优选地，包括步骤S4，提供包括列表、分组、交叉表格、柱形图、条形图、饼图、面积图、组合图、仪表盘和地图中的至少一种或多种展示形式。

优选地，包括步骤S4，采用BI决策树对查询数据进行分析，生成决策树的算法包括CLS、ID3、C4.5、CART中的一种。

优选地，步骤S1中，在第一优先级中，还设置有多个第一优先子级，对查询任务被查询达到的频率进行排序，形成顺序排列的第一优先子级，并且，通过设置多个频率阈值，当查询任务被查询达到某一频率阈值，则该查询任务提升至所述某一频率阈值对应的第一优先子级。

优选地，还使用交叉分析生成多维数据，并且，交叉分析结果采用本地缓存与分布式缓存的多级缓存存储，ID索引存储于本地缓存，交叉分析结果则存储于分布式缓存中。

优选地，所述数据清洗包括缺失值处理、异常值处理、去重处理。

优选地，包括步骤S4，按照预设的模型生成待展示的查询汇总和展示明细结果，并支持使用SQL进行数据查询以及对查询结果的可视化设置。

本发明还提供一种数据查询展示系统，包括：

查询队列编排模块，用于对查询队列按照设定的优先级进行动态编排顺序，其中查询队列是指实时的数据查询任务形成的队列；