[发明专利]大数据查询系统、方法、计算机设备及存储介质

说明书

本发明属于大数据查询领域，特别涉及一种大数据查询系统、方法、计算机设备及存储介质。大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，数据搜索模块在数据源模块中搜索并保存数据，数据搜索模块，用于在数据源模块中搜索数据，并保存数据；数据显示模块，用于未查询到数据时将数据查询请求发送至数据处理模块；数据处理模块，用于根据数据查询请求在数据搜索模块中查询数据，将查询到的数据通过数据显示模块进行显示，并将查询到的数据发送数据缓存模块，本发明方案能够基于索引保存数据，并将查询数据缓存到数据缓存模块，可以满足高并发及低延迟查询。

技术领域

本发明涉及大数据查询领域，尤其涉及一种大数据查询系统、方法、计算机设备及存储介质。

背景技术

目前基于大数据平台的报表服务，主要是将数据从Hadoop导出到关系型数据库如Oracle、Microsoft Access、MySQL，再使用Cognos分析并汇总得出报告，建立模型，生成报表。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS，HDFS为海量的数据提供了存储。Cognos是在BI核心平台之上，以服务为导向进行架构的一种数据模型，它可以提供无缝密合的报表、分析、记分卡、仪表盘等解决方案，通过提供所有的系统和资料资源，以简化公司各员工处理资讯的方法。从Hadoop导出数据到关系型数据库再用Cognos刷模型，当需查询的报表多或者有重复查询的情况时，生成报表时间长、效率低，因此，现有技术中大数据报表服务不具备高并发低延迟查询的功能，使得工作效率低。

发明内容

本发明的目的在于提供一种大数据查询系统、方法、设备及存储介质，能够实现将底层数据存储在数据搜索模块中，设计数据内存缓存机制，将已经访问过的数据存储在数据缓存模块中，支持低延迟查询。

本发明是这样实现的，本发明第一方面提供一种大数据查询系统，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述数据源模块、所述数据搜索模块以及所述数据处理模块依次连接，所述数据处理模块分别连接所述数据显示模块和所述数据缓存模块，所述数据显示模块和所述数据缓存模块连接；

所述数据源模块，用于存储数据；

所述数据搜索模块，用于通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块，用于获取数据查询请求，根据所述数据查询请求在所述数据缓存模块中查询数据，并将查询到的数据进行显示；

所述数据显示模块，还用于未查询到数据时将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块，用于根据所述数据查询请求在所述数据搜索模块中查询数据，将查询到的数据通过所述数据显示模块进行显示，并将查询到的数据发送给所述数据缓存模块；

所述数据缓存模块，用于缓存所述数据处理模块发送的数据。

本发明第二方面提供一种大数据查询系统的查询方法，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述查询方法包括：

所述数据搜索模块通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据，当所述数据缓存模块中存储所述待查询数据时，提取所述待查询数据并进行显示；

当所述数据缓存模块中不存在所述待查询数据时，所述数据显示模块将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块根据所述数据查询请求通过所述数据搜索模块搜索数据，将查询到的数据通过所述数据显示模块进行显示，并将所述查询数据发送给所述数据缓存模块。