[发明专利]大数据查询系统、方法、计算机设备及存储介质在审
申请号: | 201810309831.5 | 申请日: | 2018-04-09 |
公开(公告)号: | CN108804502A | 公开(公告)日: | 2018-11-13 |
发明(设计)人: | 许四平 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 周燕君 |
地址: | 518000 广东省深圳市福田*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据搜索模块 大数据 数据处理模块 数据缓存模块 数据显示模块 数据源模块 查询 查询系统 数据查询请求 计算机设备 保存数据 查询数据 存储介质 缓存 数据发送 数据通过 搜索数据 索引保存 低延迟 并发 搜索 发送 | ||
1.一种大数据查询系统,其特征在于,所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块,所述数据源模块、所述数据搜索模块以及所述数据处理模块依次连接,所述数据处理模块分别连接所述数据显示模块和所述数据缓存模块,所述数据显示模块和所述数据缓存模块连接;
所述数据源模块,用于存储数据;
所述数据搜索模块,用于通过数据接口在所述数据源模块中搜索数据,并保存数据;
所述数据显示模块,用于获取数据查询请求,根据所述数据查询请求在所述数据缓存模块中查询数据,并将查询到的数据进行显示;
所述数据显示模块,还用于未查询到数据时将所述数据查询请求发送至所述数据处理模块;
所述数据处理模块,用于根据所述数据查询请求在所述数据搜索模块中查询数据,将查询到的数据通过所述数据显示模块进行显示,并将查询到的数据发送给所述数据缓存模块;
所述数据缓存模块,用于缓存所述数据处理模块发送的数据。
2.如权利要求1所述的大数据查询系统,其特征在于,所述数据搜索模块为Elasticsearch,所述数据源模块包括hbase、hive、hdfs以及mysql;
所述Elasticsearch通过数据接口在所述hbase、所述hive、所述hdfs以及所述mysql获取搜索数据,并根据所述搜索数据生成索引,并保存所述索引及数据。
3.如权利要求1所述的大数据查询系统,其特征在于,所述数据显示模块包括缓存判断单元和请求转发单元;
所述缓存判断单元,用于获取数据查询请求,并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据,当所述数据缓存模块中存储所述待查询数据时,提取查询数据并进行显示;
所述请求转发单元,用于当所述数据缓存模块中不存在所述待查询数据时,将所述数据查询请求发送至所述数据处理模块。
4.如权利要求3所述的大数据查询系统,其特征在于,所述缓存判断单元解析所述数据查询请求获得目标键名,获取所述数据缓存模块的键名列表,在所述键名列表中匹配是否存在所述目标键名;
当所述键名列表中存在所述目标键名时,所述缓存判断单元判定所述数据缓存模块存储所述待查询数据;
当所述键名列表中不存在所述目标键名时,所述缓存判断单元判定所述数据缓存模块不存在所述待查询数据。
5.如权利要求1所述的大数据查询系统,其特征在于,所述数据处理模块包括数据查询单元和数据转发单元;
所述数据查询单元,用于解析所述数据查询请求获取查询键名,根据所述查询键名搜索所述数据搜索模块中的查询索引并根据所述查询索引提取查询数据;
所述数据转发单元,用于将查询到的数据通过所述数据显示模块进行显示,并将所述查询数据发送给所述数据缓存模块。
6.如权利要求5所述的大数据查询系统,其特征在于,所述数据缓存模块为Redis,所述Redis采用Hash数据类型缓存数据,所述数据处理模块为Spark;
所述数据缓存模块,还用于根据所述查询键名与所述查询数据建立映射关系并存储在所述数据缓存模块中,并将所述查询键名添加到所述键名列表中。
7.一种大数据查询系统的查询方法,其特征在于,所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块,所述查询方法包括:
所述数据搜索模块通过数据接口在所述数据源模块中搜索数据,并保存数据;
所述数据显示模块获取数据查询请求,并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据,当所述数据缓存模块中存储所述待查询数据时,提取所述待查询数据并进行显示;
当所述数据缓存模块中不存在所述待查询数据时,所述数据显示模块将所述数据查询请求发送至所述数据处理模块;
所述数据处理模块根据所述数据查询请求通过所述数据搜索模块搜索数据,将查询到的数据通过所述数据显示模块进行显示,并将所述查询数据发送给所述数据缓存模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810309831.5/1.html,转载请声明来源钻瓜专利网。