[发明专利]数据查找方法、装置、计算机设备以及存储介质在审
申请号: | 201811537085.1 | 申请日: | 2018-12-14 |
公开(公告)号: | CN109800247A | 公开(公告)日: | 2019-05-24 |
发明(设计)人: | 倪隆昌 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06F16/2457 | 分类号: | G06F16/2457;G06F16/25;G06F16/28 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 王宁 |
地址: | 518052 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 全维 预设 查找结果 生产数据库 算法 计算机设备 查找请求 存储介质 数据查找 大数据 完成时 更新 数据库 数据处理领域 查找 清空 调用 申请 服务器 分担 返回 引入 | ||
本申请涉及大数据的数据处理领域,具体涉及一种数据查找方法、装置、计算机设备和存储介质。方法包括:基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,将结果导入生产数据库内的预设第一结果表;当导入完成时,清空预设第二结果表内数据,再次运行预设全维度拆分算法,更新全维度查找结果,将更新后全维度查找结果导入生产数据库内预设第二结果表,当更新后全维度查找结果导入完成时,返回执行运行预设全维度拆分算法的步骤;当接收到实时查找请求时,根据实时查找请求,通过API接口在生产数据库内调用预设结果表获得查找结果。本申请通过引入Hadoop数据库分担生产数据库的查找任务,使得系统可以不扩充服务器就能实现对大数据的查找。
技术领域
本申请涉及信息处理领域,特别是涉及一种数据查找方法、装置、计算机设备以及存储介质。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
然而现在不少公司积累了大量的数据资源,当这些公司想要通过输出这些数据的实时查找服务进行资源变现时,会遇到了一个问题,随着积累的数据量越来越大,从百万级别到千万级别,最后到数十亿级别,在不扩充服务器的情况下,使用原有的数据库,已无法再支持实时处理数十亿数量级别的数据的计算查找服务。
发明内容
基于此,有必要针对上述技术问题,提供一种能支持对数十亿数量级别的数据进行查找的数据查找方法、装置、计算机设备以及存储介质。
一种数据查找方法,所述方法包括:
基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果,所述Hadoop数据库存储有待查找样本数据,所述全维度查找结果为预设查找请求对应的目标数据;
将所述全维度查找结果导入生产数据库内的预设第一结果表;
当导入完成时,清空预设第二结果表内数据,再次基于Hadoop数据库运行所述预设全维度拆分算法,更新所述全维度查找结果,将所述更新后全维度查找结果导入生产数据库内预设第二结果表,当所述更新后全维度查找结果导入完成时,返回执行基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果的步骤;
当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果,所述查找结果与所述实时查找对应,所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。
在其中一个实施例中,所述基于Hadoop数据库运行预设全维度拆分算法,获得全维度查找结果之前,还包括:
根据Hadoop数据库存储的待查找样本数据获取预设查找请求,根据所述预设查找请求获取全维度拆分算法,将获取的全维度拆分算法作为预设全维度拆分算法。
在其中一个实施例中,所述根据Hadoop数据库存储的待查找样本数据获取预设查找请求具体包括:
确定Hadoop数据库存储的待查找样本数据对应的查找字段,根据所述查找字段获取全维度拆分算法。
在其中一个实施例中,所述当接收到实时查找请求时,根据所述实时查找请求,通过API接口在所述生产数据库内调用预设结果表获得查找结果包括:
当接收到实时查找请求时,判断预设查找请求是否包括所述实时查找请求;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811537085.1/2.html,转载请声明来源钻瓜专利网。